Tôi đã phát triển một vài con nhện trong mẩu hình ảnh số & mà tôi muốn thử nghiệm trên đám mây Heroku. Có ai có bất kỳ ý tưởng về việc làm thế nào để triển khai một Spider phế liệu trên đám mây Heroku?Làm thế nào để triển khai một con nhện phế liệu trên đám mây Heroku
Trả lời
Có, nó khá đơn giản để triển khai và chạy spidery của bạn trên Heroku.
Dưới đây là các bước sử dụng một dự án Scrapy thực như ví dụ:
Clone dự án (lưu ý rằng nó phải có một tập tin
requirements.txt
cho Heroku để nhận ra đó là một dự án Python):git clone https://github.com/scrapinghub/testspiders.git
Thêm cffi vào tệp requirements.txt (ví dụ: cffi == 1.1.0).
Tạo ứng dụng Heroku (điều này sẽ thêm một từ xa Heroku git mới):
heroku create
Triển khai dự án (điều này sẽ mất một thời gian lần đầu tiên, khi sên được xây dựng):
git push heroku master
Chạy nhện của bạn:
heroku run scrapy crawl followall
Một số lưu ý:
- Heroku đĩa là phù du. Nếu bạn muốn lưu trữ dữ liệu đã được cạo ở một nơi liên tục, bạn có thể sử dụng một số S3 feed export (bằng cách thêm
-o s3://mybucket/items.jl
) hoặc sử dụng một phụ trợ (như MongoHQ hoặc Redis To Go) và viết một đường ống để lưu trữ các mặt hàng của bạn tại đó - Nó sẽ là mát mẻ để chạy máy chủ Scrapyd trên Heroku, nhưng hiện tại không thể thực hiện được vì mô-đun
sqlite3
(mà Scrapyd yêu cầu) không hoạt động trên Heroku - Nếu bạn muốn có một giải pháp phức tạp hơn để triển khai trình thu thập thông tin của bạn, hãy xem xét thiết lập Scrapyd server hoặc sử dụng dịch vụ được lưu trữ như Scrapy Cloud
Tôi tin rằng 'heroku run' khởi động One-Off Dyno, điều này sẽ dẫn đến việc tốn nhiều tiền hơn. Đây có phải là lựa chọn duy nhất không? – elgehelge
@Helge một dynos tắt không tốn bất kỳ chi phí nào nhiều hơn một phút so với dynos chuẩn. –
Bạn có thể sử dụng scrapy-heroku để chạy máy chủ Scrapyd trên heroku! Đã làm việc tuyệt vời cho tôi. https://github.com/dmclain/scrapy-heroku – arctelix
- 1. Tạo một con nhện phế liệu chung
- 2. Triển khai Java ESB cho đám mây
- 3. Phát triển trên đám mây
- 4. Triển khai và lưu trữ scala trên đám mây?
- 5. Phát triển Android dựa trên đám mây
- 6. Triển khai ứng dụng WPF trên máy tính để bàn trên đám mây
- 7. Neo4j trên đám mây
- 8. AWS và Azure cho PHP. Các yếu tố xác định "đám mây" nào để triển khai
- 9. Làm cách nào để vẽ các đám mây?
- 10. Làm thế nào để triển khai cho Heroku bằng Mercurial?
- 11. Làm thế nào để triển khai một ứng dụng đường ray trên heroku từ travis-ci?
- 12. Làm cách nào để thiết lập đồng bộ hóa đồng bộ trong đám mây (AWS, heroku, v.v ...) trên nhiều nút?
- 13. Làm thế nào để triển khai cơ sở dữ liệu MySQL cục bộ cho Heroku
- 14. Phế liệu. Làm thế nào để thay đổi cài đặt nhện sau khi bắt đầu thu thập thông tin?
- 15. Làm thế nào để thiết kế một Bảng MySql cho một Đám mây Tag?
- 16. Dịch vụ đám mây Azure và Git triển khai liên tục?
- 17. Làm thế nào để tạo một đám mây từ từ một kho văn bản bằng Python?
- 18. Dịch vụ cơ sở dữ liệu đám mây miễn phí để phát triển nhà
- 19. Triển khai trên Heroku với Capistrano?
- 20. Môi trường tính toán số trên đám mây? [Undergrad Project]
- 21. Làm thế nào để triển khai Laravel 4 ứng dụng trên Heroku?
- 22. Làm thế nào để triển khai JRuby Rails 3.1.x trên Heroku
- 23. Khôi phục cơ sở dữ liệu trên Heroku từ kết xuất cục bộ bằng Ứng dụng đám mây
- 24. Làm cách nào để lưu một đơn đặt hàng an toàn trên đám mây, nếu bạn không thể xác minh thanh toán từ đám mây?
- 25. đề xuất lưu trữ đám mây grails
- 26. Triển khai Dịch vụ đám mây Azure mà không thay đổi cấu hình hiện có
- 27. Có phải connectionString nằm trong dự án an toàn khi triển khai lên đám mây không?
- 28. Làm thế nào để cài đặt và khởi động một con nhện Scrapy lập trình (url và cài đặt)
- 29. Lỗi trên triển khai một ứng dụng NodeJS trong Heroku
scrapy-heroku được viết riêng cho mục đích này: http: //pypi.p ython.org/pypi/scrapy-heroku –