Phế liệu: Giới hạn số lượng yêu cầu hoặc yêu cầu byte

Question

Tôi đang sử dụng một mẩu ảnh số CrawlSpider và xác định lò phản ứng xoắn để điều khiển trình thu thập thông tin của tôi. Trong các bài kiểm tra, tôi đã thu thập thông tin một trang web tin tức thu thập nhiều hơn một GB dữ liệu. Chủ yếu là tôi quan tâm đến những câu chuyện mới nhất vì vậy tôi đang tìm kiếm một cách để giới hạn số lượng trang, byte hoặc giây được yêu cầu.

Có một cách phổ biến để xác định giới hạn của

• request_bytes
• request_counts hoặc
• thời gian chạy trong vài giây?

Answer 1

Trong scrapy có lớp scrapy.contrib.closespider.CloseSpider. Bạn có thể xác định các biến CLOSESPIDER_TIMEOUT, CLOSESPIDER_ITEMCOUNT, CLOSESPIDER_PAGECOUNT và CLOSESPIDER_ERRORCOUNT.

Con nhện sẽ tự động đóng khi các tiêu chuẩn được đáp ứng: http://doc.scrapy.org/en/latest/topics/extensions.html#module-scrapy.contrib.closespider