Phát lại một con nhện bị lơ lửng trên dữ liệu được lưu trữ

Question

Tôi đã bắt đầu sử dụng Scrapy để xóa một vài trang web. Nếu sau này tôi thêm trường mới vào mô hình của mình hoặc thay đổi chức năng phân tích cú pháp của mình, tôi muốn có thể "phát lại" dữ liệu thô đã tải xuống ngoại tuyến để quét lại. Dường như Scrapy có khả năng lưu trữ dữ liệu thô trong một file replay tại một thời điểm:

http://dev.scrapy.org/browser/scrapy/trunk/scrapy/command/commands/replay.py?rev=168

Nhưng chức năng này dường như đã được loại bỏ trong phiên bản hiện tại của Scrapy. Có cách nào khác để đạt được điều này không?

Answer 1

Nếu bạn chạy crawl --record=[cache.file] [scraper], bạn sẽ có thể sử dụng replay [scraper].

Ngoài ra, bạn có thể cache tất cả các phản ứng với HttpCacheMiddleware bằng cách bao gồm nó trong DOWNLOADER_MIDDLEWARES:

DOWNLOADER_MIDDLEWARES = { 
    'scrapy.contrib.downloadermiddleware.httpcache.HttpCacheMiddleware': 300, 
} 

Nếu bạn làm điều này, mỗi khi bạn chạy các scraper, nó sẽ kiểm tra hệ thống tập tin đầu tiên.

Answer 2

Bạn có thể bật HTTPCACHE_ENABLED như đã nói http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html?highlight=FilesystemCacheStorage#httpcache-enabled

để cache tất cả các yêu cầu http và phản ứng để thực hiện tiếp tục bò.

HOẶC thử Jobs để tạm dừng và tiếp tục bò http://scrapy.readthedocs.org/en/latest/topics/jobs.html