Các scrapy doc nói rằng:những lợi thế khi sử dụng scrapyd là gì?
Scrapy đi kèm với một built-in dịch vụ, được gọi là “Scrapyd”, cho phép bạn để triển khai dự án của bạn và kiểm soát nhện của họ sử dụng một dịch vụ web JSON (aka tải lên.).
có một số lợi thế trong việc sử dụng hiệu ứng rác không?
Scrapyd cho phép bạn chạy trên máy khác với máy bạn đang sử dụng thông qua API web tiện dụng có nghĩa là bạn chỉ có thể sử dụng curl hoặc thậm chí trình duyệt web để tải lên phiên bản dự án mới và chạy chúng. Nếu không, nếu bạn muốn chạy Scrapy trong đám mây ở đâu đó, bạn sẽ phải scp sao chép mã nhện mới và sau đó đăng nhập với ssh và sinh ra scrapy crawl myspider của bạn.
Scrapyd cũng sẽ quản lý các quy trình cho bạn nếu bạn muốn chạy nhiều trình thu thập song song; nhưng nếu bạn có Scrapy trên máy địa phương của bạn và có quyền truy cập vào các dòng lệnh hoặc một cách để chạy nhện và chỉ muốn chạy một con nhện tại một thời điểm, sau đó bạn tốt hơn chạy nhện bằng tay.
Nếu bạn đang phát triển trình thu thập thông tin thì chắc chắn bạn không muốn sử dụng scrapyd để lặp lại biên dịch/thử nghiệm nhanh vì nó chỉ thêm một lớp phức tạp.
một thời gian trước, tôi đã thực sự sử dụng cần tây để kiểm soát nhện của tôi. Điều gì sẽ là ưu và khuyết điểm của điều này so với điều đó .. – goh
Làm cách nào để bảo mật API web đó mà không có người quét cổng nào biết về triển khai Scrapyd của tôi và không thể sử dụng cùng một API? Tôi biết tôi trễ 3 năm, nhưng tôi không tìm thấy bất cứ điều gì liên quan đến truy vấn của mình. – harkirat1892