scrapyd

14Nhiệt

1Trả lời

học python và cũng cố gắng thực hiện scrapy ..getting lỗi này

Tôi đi qua scrapy hướng dẫn http://doc.scrapy.org/en/latest/intro/tutorial.html và tôi đi theo nó cho đến khi tôi chạy lệnh này scrapy crawl dmoz Và nó đã cho tôi ra với một lỗi 2013-08-25 13:11:42-

19Nhiệt

1Trả lời

ScrapyRT vs Scrapyd

Chúng tôi đã sử dụng Scrapyd service trong một thời gian cho đến bây giờ. Nó cung cấp một wrapper tốt đẹp xung quanh một dự án phế liệu và nhện của nó cho phép để kiểm soát các nhện thông qua một API

6Nhiệt

1Trả lời

Cắt ngang theo chiều ngang Scrapyd

Công cụ hoặc bộ công cụ nào bạn sẽ sử dụng cho quy trình thu hẹp theo chiều ngang, thêm các máy mới vào một cụm phế liệu tự động và có N phiên bản trên mỗi máy nếu cần. Không phải là cần thiết cho tất

8Nhiệt

2Trả lời

Giá trị jobyd Scrapyd bên trong spider

Framework Scrapy - Scrapyd server. Tôi gặp một số vấn đề khi nhận giá trị jobid bên trong con nhện. Sau bài dữ liệu để http://localhost:6800/schedule.json phản ứng là status = ok jobid = bc2096406b30

7Nhiệt

1Trả lời

những lợi thế khi sử dụng scrapyd là gì?

Các scrapy doc nói rằng: Scrapy đi kèm với một built-in dịch vụ, được gọi là “Scrapyd”, cho phép bạn để triển khai dự án của bạn và kiểm soát nhện của họ sử dụng một dịch vụ web JSON (aka tải lên.). c

5Nhiệt

1Trả lời

Phế liệu cách bỏ qua các mục có trường trống bằng Trình tải

Tôi muốn biết cách bỏ qua các mục không điền vào tất cả các trường, một số loại bỏ, vì trong kết quả của scrapyd tôi nhận được các trang không điền vào tất cả các trường. tôi có mã rằng: class Product

5Nhiệt

1Trả lời

Lỗi init của Scrapyd khi chạy spider lùn

Tôi đang cố triển khai trình thu thập thông tin với bốn trình thu thập thông tin. Một trong những con nhện sử dụng XMLFeedSpider và chạy tốt từ vỏ và scrapyd, nhưng những người khác sử dụng BaseSpider

5Nhiệt

1Trả lời

Scrapyd không thể tìm thấy mã trong một thư mục phụ

Chúng tôi có một dự án Scrapy hoàn toàn bình thường, một cái gì đó như thế: project/ setup.py scrapy.cfg SOME_DIR_WITH_PYTHON_MODULE/ __init__.py project/

7Nhiệt

4Trả lời

lỗi khi triển khai dự án sử dụng scrapyd

Tôi có nhiều trình thu thập thông tin trong thư mục dự án và muốn chạy tất cả các trình thu thập dữ liệu cùng một lúc, vì vậy tôi quyết định chạy chúng bằng dịch vụ scrapyd. Tôi đã bắt đầu làm điều nà

24Nhiệt

4Trả lời

Làm thế nào để cài đặt và khởi động một con nhện Scrapy lập trình (url và cài đặt)

Tôi đã viết một trình thu thập làm việc sử dụng scrapy, bây giờ tôi muốn kiểm soát nó thông qua một webapp Django, mà là để nói: Set 1 hoặc nhiều start_urls Set 1 hoặc nhiều allowed_domains Set settin