Phế liệu - Theo các liên kết RSS

Question

Tôi đã tự hỏi liệu có ai đã từng trích xuất/theo các liên kết mục RSS bằng cách sử dụng SgmlLinkExtractor/CrawlSpider hay không. Tôi không thể có được nó để làm việc ...

Tôi đang sử dụng các nguyên tắc sau:

 

    rules = (
     Rule(SgmlLinkExtractor(tags=('link',), attrs=False), 
      follow=True, 
      callback='parse_article'), 
     ) 

(có trong tâm trí rằng các liên kết rss nằm trong liên kết thẻ).

Tôi không chắc chắn làm thế nào để nói với SgmlLinkExtractor để trích xuất văn bản() của liên kết và không để tìm kiếm các thuộc tính ...

Bất kỳ trợ giúp được chào đón, Cảm ơn trước

Answer 1

quy tắc CrawlSpider không làm việc theo cách đó. Bạn có thể cần phải phân lớp BaseSpider và thực hiện khai thác liên kết của riêng bạn trong gọi lại spider của bạn. Ví dụ:

from scrapy.spider import BaseSpider 
from scrapy.http import Request 
from scrapy.selector import XmlXPathSelector 

class MySpider(BaseSpider): 
    name = 'myspider' 

    def parse(self, response): 
     xxs = XmlXPathSelector(response) 
     links = xxs.select("//link/text()").extract() 
     return [Request(x, callback=self.parse_link) for x in links] 

Bạn cũng có thể thử các XPath trong vỏ, bằng cách chạy ví dụ:

scrapy shell http://blog.scrapy.org/rss.xml 

Và sau đó gõ vào vỏ:

>>> xxs.select("//link/text()").extract() 
[u'http://blog.scrapy.org', 
u'http://blog.scrapy.org/new-bugfix-release-0101', 
u'http://blog.scrapy.org/new-scrapy-blog-and-scrapy-010-release'] 

Answer 2

Tôi đã thực hiện nó sử dụng CrawlSpider:

class MySpider(CrawlSpider): 
    domain_name = "xml.example.com" 

    def parse(self, response): 
     xxs = XmlXPathSelector(response) 
     items = xxs.select('//channel/item') 
     for i in items: 
      urli = i.select('link/text()').extract() 
      request = Request(url=urli[0], callback=self.parse1) 
      yield request 

    def parse1(self, response): 
     hxs = HtmlXPathSelector(response) 
     # ... 
     yield(MyItem()) 

nhưng tôi không chắc chắn đó là một giải pháp rất thích hợp ...

Answer 3

Có một XMLFeedSpider người ta có thể sử dụng hiện nay.

Answer 4

XML Ví dụ Từ scrapy doc XMLFeedSpider

from scrapy.spiders import XMLFeedSpider 
from myproject.items import TestItem 

class MySpider(XMLFeedSpider): 
    name = 'example.com' 
    allowed_domains = ['example.com'] 
    start_urls = ['http://www.example.com/feed.xml'] 
    iterator = 'iternodes' # This is actually unnecessary, since it's the default value 
    itertag = 'item' 

    def parse_node(self, response, node): 
     self.logger.info('Hi, this is a <%s> node!: %s', self.itertag, ''.join(node.extract())) 

     #item = TestItem() 
     item = {} # change to dict for removing the class not found error 
     item['id'] = node.xpath('@id').extract() 
     item['name'] = node.xpath('name').extract() 
     item['description'] = node.xpath('description').extract() 
     return item