Làm thế nào để bỏ qua bảo vệ bot/ddos ​​cloudflare trong Scrapy?

Question

Thỉnh thoảng tôi thường xuyên sử dụng trang web thương mại điện tử để lấy thông tin về giá sản phẩm. Tôi đã không sử dụng scraper được xây dựng bằng cách sử dụng Scrapy trong một thời gian và ngày hôm qua đã cố gắng sử dụng nó - Tôi gặp phải vấn đề với bảo vệ bot.

Ứng dụng đang sử dụng tính năng bảo vệ DDOS của CloudFlare, về cơ bản, sử dụng đánh giá JavaScript để lọc ra các trình duyệt (và do đó các trình gỡ rối) bị tắt JS. Khi hàm được đánh giá, phản hồi với số được tính được tạo ra. Đổi lại, dịch vụ gửi lại hai cookie xác thực được đính kèm theo mỗi yêu cầu cho phép thu thập dữ liệu thông thường trang web. Here 's mô tả về cách hoạt động của nó.

Tôi cũng đã tìm thấy một mô-đun Python cloudflare-scrape sử dụng công cụ đánh giá JS bên ngoài để tính toán số và gửi yêu cầu quay lại máy chủ. Tôi không chắc chắn làm thế nào để tích hợp nó vào Scrapy mặc dù. Hoặc có thể có một cách thông minh hơn mà không cần sử dụng thực thi JS? Cuối cùng, đó là một biểu mẫu ...

Tôi xin lỗi bất kỳ trợ giúp nào.

Answer 1

Vì vậy, tôi đã thực thi JavaScript bằng Python với sự trợ giúp của cloudflare-scrape.

Để scraper của bạn, bạn cần phải thêm đoạn mã sau:

def start_requests(self): 
    cf_requests = [] 
    for url in self.start_urls: 
     token, agent = cfscrape.get_tokens(url, 'Your prefarable user agent, _optional_') 
     cf_requests.append(Request(url=url, 
         cookies={'__cfduid': token['__cfduid']}, 
         headers={'User-Agent': agent})) 
    return cf_requests 

cùng với chức năng phân tích cú pháp. Và đó là nó!

Tất nhiên, trước tiên bạn cần phải cài đặt quét đám mây và nhập vào con nhện của mình. Bạn cũng cần cài đặt một công cụ thực thi JS. Tôi đã có Node.JS rồi, không có khiếu nại.

Answer 2

Rõ ràng cách tốt nhất để làm điều này là liệt kê IP của bạn trong CloudFlare; nếu điều này không phù hợp, hãy để tôi giới thiệu thư viện cloudflare-scrape. Bạn có thể sử dụng mã này để nhận mã thông báo cookie, sau đó cung cấp mã thông báo cookie này trong Scrapy request quay lại máy chủ.

Answer 3

Nếu bạn chấp nhận một chút tốc độ trong quá trình cào, bạn có thể kết hợp Scrapy với Selenium để mô phỏng tương tác người dùng thực với trình duyệt. Tôi đã viết một hướng dẫn ngắn về nó ở đây: http://www.6020peaks.com/2014/12/how-to-scrape-hidden-web-data-with-python.

Nó không nhắm mục tiêu vấn đề cụ thể của bạn với CloudFlare, nhưng nó có thể giúp đỡ vì tôi đã có vấn đề tương tự khi tải dữ liệu cần thiết của một số thực thi JS.