Nutch không thu thập thông tin tất cả các liên kết dưới dạng

Question

Tôi gặp sự cố khi thu thập dữ liệu trang web của mình ... có biểu mẫu có hai danh sách thả xuống .... và khi tôi bắt đầu thu thập thông tin, trình thu thập thông tin chỉ tìm nạp một phần liên kết từ biểu mẫu .... từ danh sách thả xuống đầu tiên, nó lấy một phần của các tùy chọn, như từ menu thả xuống thứ hai .... Tôi thử thay đổi một số cấu hình trong tệp nutch-defaults.xml, nhưng mọi thứ đều giống nhau ...

I change 
fetcher.threads.per.queue 1 - 10   
db.ignore.internal.links true - false 
db.ignore.external.links false - true 
http.content.limit 65536 - 65536000 
file.content.limit 65536 - 65536000 
db.update.max.inlinks 10.000 - 100.000 

có tùy chọn nào khác có thể giúp tôi thu thập thông tin tất cả các tùy chọn trong biểu mẫu của tôi ...... ?? Cảm ơn câu trả lời.

Answer 1

Xin lỗi, đại diện quá thấp để viết bình luận !!!

Bạn có liên kết không.

Cũng là thả xuống ajax hoặc thứ gì đó lạ mắt. Nutch từ bộ nhớ sẽ chỉ thu thập dữ liệu nội dung trên trang. I E. nếu bạn tải 10 trang đầu tiên khi tải trang và chỉ tải phần còn lại với dịch vụ khi người dùng cuộn, tôi tin rằng nó không thể tìm thấy.

Một số thông tin hơn sẽ tốt lại trang ....

Cheers Robin

Answer 2

nhờ cho câu trả lời của bạn. Đây là [link] (auto.am/en), sau khi thu thập thông tin, tôi chỉ có khoảng 100 sản phẩm và không phải tất cả các mẫu xe hơi đều do tôi sản xuất. ... Tôi hy vọng rằng sau khi bạn đã có một liên kết, bạn sẽ đề xuất các giải pháp để thu thập dữ liệu tất cả các xe làm và mô hình :). Cảm ơn.