tôi cần phải bò xuống tất cả các ý kiến (hơn 2.600.000 ý kiến, hơn 5000 trang) cho Gangnam Style Video của PSY từ YouTube, xem: http://www.youtube.com/all_comments?v=9bZkp7q19f0howto crawl tất cả các ý kiến của clip duy nhất từ youtube, hơn 100 trang
vấn đề là:
1) Nếu tôi sử dụng dịch vụ gdata, google chỉ cung cấp không quá 1000 feeds bình luận
2) Nếu tôi thẻ html trực tiếp crawl từ:
site(http://www.youtube.com/all_comments?v=9bZkp7q19f0&page=$(page))
bằng cách tăng thông số trang, thông số sẽ không thành công sau trang # 101, nơi không có nhận xét nào được hiển thị trên trang.
Vì vậy, hãy giúp mọi người, làm cách nào để khắc phục sự cố này?
P.S: Trình thu thập thông tin của tôi được triển khai dưới dạng tiện ích mở rộng bằng chrome, sử dụng javascript, kiểm tra thẻ nhận xét của trang đã tải và sau đó tải trang tiếp theo.
Tôi không chắc chắn, nhưng bạn không phải trả tiền để có thêm nhận xét? Tôi nghĩ đó là lý do tại sao có giới hạn. – ioanb7
cảm ơn lời khuyên của bạn, nhưng tôi không quen với việc mua hạn ngạch dịch vụ từ google; bạn có kinh nghiệm như vậy không? hoặc tôi có thể tìm tài liệu liên quan ở đâu? –
[stackoverflow - cách tìm nạp hơn 1000] (http://stackoverflow.com/questions/264154/google-appengine-how-to-fetch-more-than-1000) - Điều này có giúp bạn không? :-) – ioanb7