lỗi khi triển khai dự án sử dụng scrapyd

Question

Tôi có nhiều trình thu thập thông tin trong thư mục dự án và muốn chạy tất cả các trình thu thập dữ liệu cùng một lúc, vì vậy tôi quyết định chạy chúng bằng dịch vụ scrapyd. Tôi đã bắt đầu làm điều này bằng cách nhìn thấy here

Trước hết tôi trong thư mục dự án hiện tại

1. tôi đã mở các tập tin scrapy.cfg và uncomment dòng url sau

   [triển khai]

2. Tôi đã chạy lệnh scrapy server, hoạt động tốt và máy chủ scrapyd chạy

3. tôi đã cố gắng lệnh này scrapy deploy -l

   Kết quả: default http://localhost:6800/

4. khi tôi đã cố gắng lệnh này scrapy deploy -L scrapyd tôi đã nhận sau đầu ra

Kết quả:

Usage 
===== 
    scrapy deploy [options] [ [target] | -l | -L <target> ] 

deploy: error: Unknown target: scrapyd 

khi tôi đã cố gắng để triển khai các dự án với lệnh này scrapy deploy scrapyd -p default gặp lỗi sau

Usage 
===== 
    scrapy deploy [options] [ [target] | -l | -L <target> ] 

deploy: error: Unknown target: scrapyd 

Tôi thực sự không thể xác định whey scrapyd đang hiển thị các lỗi trên, có thể đưa tôi vào một cách chính xác làm thế nào để triển khai một dự án để scrapyd

Cảm ơn trước ..... .....

Edited Mã:

sau khi nhìn thấy câu trả lời của Peter Kirby, tôi tên là mục tiêu trong scrapy.cfg và thử các lệnh sau đây trong thư mục dự án của tôi,

012.351.

lệnh:

scrapy deploy ebsite -p ebsite 

sau đó tôi đã nhận lỗi dưới đây

Building egg of ebsite-1341808241 
'build/lib' does not exist -- can't clean it 
'build/bdist.linux-x86_64' does not exist -- can't clean it 
'build/scripts-2.7' does not exist -- can't clean it 
zip_safe flag not set; analyzing archive contents... 
Deploying ebsite-1341808241 to http://localhost:6800/addversion.json 
Deploy failed: <urlopen error [Errno 111] Connection refused> 

Làm thế nào để giải quyết việc này .....

Answer 1

Từ tài liệu phục vụ scrapyd: (http://scrapy.readthedocs.org/en/latest/topics/scrapyd.html?highlight=scrapyd)

Bạn có thể xác định mục tiêu bằng cách thêm chúng vào dự án của bạn của scrapy.cfg tệp ...Dưới đây là một ví dụ về việc xác định một scrapyd2 mục tiêu mới với truy cập hạn chế thông qua xác thực cơ bản HTTP:

[deploy:scrapyd2] 
url = http://scrapyd.mydomain.com/api/scrapyd/ 
username = john 
password = secret 

Về cơ bản những gì lỗi của bạn có nghĩa là "mục tiêu" Tên của bạn là không đúng. Nếu tôi nhớ chính xác, tệp scrapy.cfg đặt tên mục tiêu ban đầu là "mặc định". Những gì bạn nên gõ là một cái gì đó như:

scrapy deploy default -p project_name 

Answer 2

Chỉ cần gõ scrapy deploy nếu bạn không có mục tiêu được đặt tên và trái cài đặt mặc định!

Answer 3

Đây là scrapyd proc không có sự cho phép! Bạn cần giết proc, sau đó sử dụng tài khoản root, Just type:

scrapy server 

thì scrapyd mới sẽ run.then bạn có thể làm như scrapyd documention nói.

Answer 4

Tôi đã nhận lỗi này khi tôi cố gắng để triển khai dự án của tôi mà không có sự scrapyd chạy, đơn giản như vậy chạy

scrapyd 

trên một thiết bị đầu cuối cố định các lỗi