Bạn có hai vấn đề ở đây:
Làm thế nào để bạn chính thức (lập trình) xác định những gì một "search engine URL frienldy là". Tôi giả sử bạn có một số cách để làm điều này rồi. Vì vậy, lá ...
Cách kiểm tra tất cả các liên kết trên trang web.
Vì vậy, đối (2) Tôi sẽ nhìn vào một cái gì đó giống như Anemone mà sẽ làm cho nó dễ dàng cho bạn để thu thập thông trang web hoàn chỉnh:
Anemone là một thư viện Ruby mà làm cho nó nhanh chóng và không đau để viết các chương trình thu hút một trang web. Nó cung cấp một DSL đơn giản để thực hiện các hành động trên mỗi trang của một trang web, bỏ qua một số URL nhất định và tính đường dẫn ngắn nhất đến một trang nhất định trên một trang web.
Thiết kế đa luồng giúp Anemone nhanh. API làm cho nó đơn giản. Và sự biểu cảm của Ruby làm cho nó mạnh mẽ.
Để thu thập thông tin đơn giản Anemone thậm chí sẽ cung cấp cho bạn một loạt các liên kết trên một trang, vì vậy bạn thậm chí không nhất thiết cần Nokogiri. Đối với những thứ phức tạp hơn có thể bạn muốn kết hợp Anemone với một cái gì đó như Mechanize và Nokogiri. Điều đó phụ thuộc vào yêu cầu của bạn.
nếu bạn thực sự muốn xem tất cả các liên kết trong trang, nokogiri là cách để đi. làm thế nào để bạn có kế hoạch phân biệt một url thân thiện với SEO từ một SEO không thân thiện với SEO? –
Tôi không có bất kỳ ý tưởng về cách tôi sẽ làm điều đó.Tôi sẽ nhìn vào Anemone đầu tiên như @Casper đã đề xuất. Bạn có cách khác mà có thể làm việc cho trường hợp này? Cảm ơn –
Thật không may không, tôi đã được chỉ tò mò; -) –