Tôi có nhện mà tôi đã viết bằng cách sử dụng khung công tác Scrapy. Tôi đang gặp một số rắc rối khi nhận bất kỳ đường ống dẫn nào để hoạt động. Tôi có đoạn mã sau trong pipelines.py của mình:Không thể lấy đường ống Phế liệu để làm việc
class FilePipeline(object):
def __init__(self):
self.file = open('items.txt', 'wb')
def process_item(self, item, spider):
line = item['title'] + '\n'
self.file.write(line)
return item
và lớp con CrawlSpider của tôi có dòng này để kích hoạt đường ống cho lớp này.
ITEM_PIPELINES = [
'event.pipelines.FilePipeline'
]
Tuy nhiên khi tôi chạy nó bằng cách sử
scrapy crawl my_spider
tôi nhận được một dòng mà nói
2010-11-03 20:24:06+0000 [scrapy] DEBUG: Enabled item pipelines:
không có đường ống (Tôi đoán đây là nơi mà khai thác gỗ nên xuất chúng).
Tôi đã thử xem qua tài liệu nhưng dường như không có bất kỳ ví dụ đầy đủ nào về toàn bộ dự án để xem tôi có bỏ sót bất kỳ thứ gì không.
Bất kỳ đề xuất nào về những gì cần thử tiếp theo? hoặc nơi để tìm thêm tài liệu?
Bạn có mã dự án này được lưu trữ trong github không? – Medeiros
Không, khách hàng của tôi có thể đã đặt nó ở đâu đó, nhưng không phải là nơi tôi mở nguồn, tôi sợ. –
tôi đã phải sử dụng ITEM_PIPELINES làm dict thay vì danh sách trong tệp cài đặt –