Sự khác biệt giữa scraper, trình thu thập thông tin và spider trong ngữ cảnh của Scrapy

Question

Cố đọc mã của Scrapy. Các từ scaper, trình thu thập thông tin và spider rất khó hiểu. Ví dụ

scrapy.core.scraper 
scrapy.crawler 
scrapy.spiders 

bất cứ ai có thể giải thích ý nghĩa và khác nhau của các điều khoản trong bối cảnh Scrapy? Cảm ơn trước.

Answer 1

Trình thu thập thông tin (scrapy.crawler) là điểm vào chính của Scrapy API. Nó cung cấp quyền truy cập vào tất cả các thành phần cốt lõi của Scrapy và nó được sử dụng để móc các chức năng mở rộng vào Scrapy.

Scraper (scrapy.core.scraper) thành phần chịu trách nhiệm phân tích cú pháp câu trả lời và trích xuất thông tin từ chúng. Nó đang được chạy từ Động cơ, và nó được sử dụng để chạy nhện của bạn.

scrapy.spiders là một mô-đun chứa cơ sở Spider thực hiện (mà bạn dùng để viết nhện của bạn), cùng với một số nhện thông thường có sẵn out of the box (như CrawlSpider cho bò ruleset-base, SitemapSpider cho sitemap dựa bò hoặc XMLFeedSpider để thu thập dữ liệu các nguồn cấp dữ liệu XML).

biết thêm thông tin có sẵn trên các trang tài liệu chính thức:
http://doc.scrapy.org/en/latest/topics/spiders.html?highlight=crawlspider#spiders http://doc.scrapy.org/en/latest/topics/api.html?highlight=scrapy.crawler#module-scrapy.crawler