Đặt tiêu đề cho yêu cầu shell scrapy

Question

Tôi biết rằng bạn có thể scrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com' để thay đổi USER_AGENT, nhưng làm cách nào để thêm tiêu đề yêu cầu?

Answer 1

không có cách nào hiện tại để thêm tiêu đề trực tiếp trên cli, nhưng bạn có thể làm điều gì đó như:

$ scrapy shell 
... 
... 
>>> from scrapy import Request 
>>> req = Request('yoururl.com', headers={"header1":"value1"}) 
>>> fetch(req) 

này sẽ cập nhật thông tin vỏ hiện nay với yêu cầu mới.