Làm thế nào để tránh Lỗi HTTP 429 (Quá nhiều yêu cầu) python

Question

Tôi cố gắng để sử dụng Python để đăng nhập vào một trang web và thu thập thông tin từ một số trang web và tôi nhận được lỗi sau:

Traceback (most recent call last): 
    File "extract_test.py", line 43, in <module> 
    response=br.open(v) 
    File "/usr/local/lib/python2.7/dist-packages/mechanize/_mechanize.py", line 203, in open 
    return self._mech_open(url, data, timeout=timeout) 
    File "/usr/local/lib/python2.7/dist-packages/mechanize/_mechanize.py", line 255, in _mech_open 
    raise response 
mechanize._response.httperror_seek_wrapper: HTTP Error 429: Unknown Response Code 

tôi đã sử dụng time.sleep() và nó hoạt động, nhưng có vẻ không thông minh và không đáng tin cậy, có cách nào khác để né tránh lỗi này không?

Dưới đây là mã của tôi:

import mechanize 
import cookielib 
import re 
first=("example.com/page1") 
second=("example.com/page2") 
third=("example.com/page3") 
fourth=("example.com/page4") 
## I have seven URL's I want to open 

urls_list=[first,second,third,fourth] 

br = mechanize.Browser() 
# Cookie Jar 
cj = cookielib.LWPCookieJar() 
br.set_cookiejar(cj) 

# Browser options 
br.set_handle_equiv(True) 
br.set_handle_redirect(True) 
br.set_handle_referer(True) 
br.set_handle_robots(False) 

# Log in credentials 
br.open("example.com") 
br.select_form(nr=0) 
br["username"] = "username" 
br["password"] = "password" 
br.submit() 

for url in urls_list: 
     br.open(url) 
     print re.findall("Some String") 

Answer 1

workaround khác là giả mạo IP của bạn sử dụng một số loại công VPN hoặc mạng Tor. Điều này sẽ giả định tỷ lệ giới hạn trên máy chủ ở cấp IP.

Có một bài viết trên blog ngắn gọn thể hiện một cách để sử dụng tor cùng với urllib2:

http://blog.flip-edesign.com/?p=119

Answer 2

Tiếp nhận một tình trạng 429 là không phải là một lỗi, nó là máy chủ khác "vui lòng" yêu cầu bạn để vui lòng ngừng yêu cầu gửi spam. Rõ ràng, tỷ lệ yêu cầu của bạn quá cao và máy chủ không sẵn sàng chấp nhận điều này.

Bạn không nên tìm cách "né tránh" điều này, hoặc thậm chí cố gắng phá vỡ cài đặt bảo mật máy chủ bằng cách cố gắng giả mạo IP của bạn, bạn chỉ nên tôn trọng câu trả lời của máy chủ bằng cách không gửi quá nhiều yêu cầu.

Nếu mọi thứ được thiết lập đúng cách, bạn cũng sẽ nhận được tiêu đề "Thử lại sau" cùng với phản hồi 429. Tiêu đề này chỉ định số giây bạn nên đợi trước khi thực hiện một cuộc gọi khác. Cách thích hợp để giải quyết vấn đề này là đọc tiêu đề này và ngủ quá trình của bạn trong nhiều giây.

Bạn có thể tìm thêm thông tin về tình trạng 429 ở đây: http://tools.ietf.org/html/rfc6585#page-3

Answer 3

Viết đoạn mã này cố định vấn đề của tôi:

requests.get(link, headers = {'User-agent': 'your bot 0.1'})