2010-11-03 36 views
8

Tôi có nhện mà tôi đã viết bằng cách sử dụng khung công tác Scrapy. Tôi đang gặp một số rắc rối khi nhận bất kỳ đường ống dẫn nào để hoạt động. Tôi có đoạn mã sau trong pipelines.py của mình:Không thể lấy đường ống Phế liệu để làm việc

class FilePipeline(object): 

    def __init__(self): 
     self.file = open('items.txt', 'wb') 

    def process_item(self, item, spider): 
     line = item['title'] + '\n' 
     self.file.write(line) 
     return item 

và lớp con CrawlSpider của tôi có dòng này để kích hoạt đường ống cho lớp này.

ITEM_PIPELINES = [ 
     'event.pipelines.FilePipeline' 
    ] 

Tuy nhiên khi tôi chạy nó bằng cách sử

scrapy crawl my_spider 

tôi nhận được một dòng mà nói

2010-11-03 20:24:06+0000 [scrapy] DEBUG: Enabled item pipelines: 

không có đường ống (Tôi đoán đây là nơi mà khai thác gỗ nên xuất chúng).

Tôi đã thử xem qua tài liệu nhưng dường như không có bất kỳ ví dụ đầy đủ nào về toàn bộ dự án để xem tôi có bỏ sót bất kỳ thứ gì không.

Bất kỳ đề xuất nào về những gì cần thử tiếp theo? hoặc nơi để tìm thêm tài liệu?

Trả lời

8

OK! Dòng cần phải đi trong mô-đun cài đặt cho dự án. Bây giờ nó hoạt động!

+0

Bạn có mã dự án này được lưu trữ trong github không? – Medeiros

+0

Không, khách hàng của tôi có thể đã đặt nó ở đâu đó, nhưng không phải là nơi tôi mở nguồn, tôi sợ. –

+0

tôi đã phải sử dụng ITEM_PIPELINES làm dict thay vì danh sách trong tệp cài đặt –

0

tôi sẵn sàng đặt cược rằng đó là một sự khác biệt vốn trong các đường ống từ đâu đó:

đường ống so với đường ống

tôi nhận thấy 'event.pipelines.FilePipeline' sử dụng trước đây, trong khi mã của bạn sử dụng sau này: đó làm bạn tên tập tin sử dụng?

(Tôi đã trở thành nạn nhân của lỗi chính tả này nhiều lần!)

+0

Cảm ơn bạn đã phát hiện ra điều đó (không thể tin rằng tôi đã bỏ lỡ nó!), Nhưng nó vẫn không hoạt động không may –

+0

Nó vẫn là đặt cược của tôi vào những gì sai, tiếp tục kiểm tra! : P (nếu không, tôi không có ý tưởng ...) – James

+0

Tôi sẽ có một cái nhìn khác. Chúc mừng! –

Các vấn đề liên quan