Bắt đầu hoạt động từ tuyến đường Flask

Question

Tôi muốn tạo trình thu thập dữ liệu để lấy URL của một trang web được tìm kiếm và trả lại kết quả về trang web. Ngay bây giờ tôi bắt đầu cạo từ thiết bị đầu cuối và lưu trữ các phản ứng trong một tập tin. Làm thế nào tôi có thể bắt đầu trình thu thập thông tin khi một số đầu vào được đăng trên Flask, xử lý và trả về một phản hồi?

Answer 1

Bạn cần tạo Trình thu thập thông tin bên trong ứng dụng Flask và chạy thu thập dữ liệu theo chương trình. Xem số docs.

import scrapy 
from scrapy.crawler import CrawlerProcess 

class MySpider(scrapy.Spider): 
    # Your spider definition 
    ... 

process = CrawlerProcess({ 
    'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)' 
}) 

process.crawl(MySpider) 
process.start() # The script will block here until the crawl is finished 

Trước khi tiếp tục dự án, tôi khuyên bạn nên xem hàng đợi công việc Python (như rq). Điều này sẽ cho phép bạn chạy thu thập dữ liệu Scrapy trong nền và ứng dụng Flask của bạn sẽ không đóng băng trong khi các mẩu tin lưu niệm đang chạy.