Python: requests.exceptions.ConnectionError. Số lần thử lại tối đa được vượt quá với url

Question

This is the script: 

import requests 
import json 
import urlparse 
from requests.adapters import HTTPAdapter 

s = requests.Session() 
s.mount('http://', HTTPAdapter(max_retries=1)) 

with open('proxies.txt') as proxies: 
    for line in proxies: 
     proxy=json.loads(line) 

    with open('urls.txt') as urls: 
     for line in urls: 

      url=line.rstrip() 
      data=requests.get(url, proxies=proxy) 
      data1=data.content 
      print data1 
      print {'http': line} 

như bạn có thể thấy, nó đang cố gắng truy cập danh sách các url thông qua danh sách proxy. Dưới đây là file urls.txt:

http://api.exip.org/?call=ip 

ở đây là các tập tin proxies.txt:

{"http":"http://107.17.92.18:8080"} 

tôi đã proxy này tại www.hidemyass.com. Nó có thể là một proxy xấu? Tôi đã thử nhiều và đây là kết quả. Lưu ý: nếu bạn đang cố gắng để nhân rộng này, bạn có thể phải cập nhật các proxy để một gần đây tại hidemyass.com. Họ dường như ngừng làm việc cuối cùng. đây là lỗi đầy đủ và traceback:

Traceback (most recent call last): 
    File "test.py", line 17, in <module> 
    data=requests.get(url, proxies=proxy) 
    File "/usr/local/lib/python2.7/dist-packages/requests/api.py", line 55, in get 
    return request('get', url, **kwargs) 
    File "/usr/local/lib/python2.7/dist-packages/requests/api.py", line 44, in request 
    return session.request(method=method, url=url, **kwargs) 
    File "/usr/local/lib/python2.7/dist-packages/requests/sessions.py", line 335, in request 
    resp = self.send(prep, **send_kwargs) 
    File "/usr/local/lib/python2.7/dist-packages/requests/sessions.py", line 454, in send 
    history = [resp for resp in gen] if allow_redirects else [] 
    File "/usr/local/lib/python2.7/dist-packages/requests/sessions.py", line 144, in resolve_redirects 
    allow_redirects=False, 
    File "/usr/local/lib/python2.7/dist-packages/requests/sessions.py", line 438, in send 
    r = adapter.send(request, **kwargs) 
    File "/usr/local/lib/python2.7/dist-packages/requests/adapters.py", line 327, in send 
    raise ConnectionError(e) 
requests.exceptions.ConnectionError: HTTPConnectionPool(host=u'219.231.143.96', port=18186): Max retries exceeded with url: http://www.google.com/ (Caused by <class 'httplib.BadStatusLine'>: '') 

Answer 1

Nhìn vào stack trace bạn đã cung cấp lỗi của bạn là do httplib.BadStatusLine ngoại lệ, trong đó, theo docs, là:

Raised if a server responds with a HTTP status code that we don’t understand.

Nói cách khác một cái gì đó được trả về (nếu được trả về) bởi máy chủ proxy không thể được phân tích bởi httplib thực hiện yêu cầu thực tế.

Từ kinh nghiệm của tôi với (viết) http proxy Tôi có thể nói rằng một số triển khai có thể không tuân theo các thông số kỹ thuật quá nghiêm ngặt (thông số rfc trên http không dễ đọc) hoặc sử dụng hack để sửa các trình duyệt cũ có lỗi trong quá trình triển khai .

Vì vậy, trả lời này:

Could it be a bad proxy?

... Tôi muốn nói - rằng đây là có thể. Cách duy nhất để chắc chắn là xem những gì được trả về bởi máy chủ proxy.

Cố gắng gỡ lỗi bằng trình gỡ lỗi hoặc lấy gói sniffer (ví dụ như Wireshark hoặc Network Monitor) để phân tích những gì xảy ra trong mạng. Có thông tin về những gì chính xác được trả về bởi máy chủ proxy nên cung cấp cho bạn một chìa khóa để giải quyết vấn đề này.

Answer 2

Có thể bạn đang quá tải máy chủ proxy bằng cách gửi quá nhiều yêu cầu trong một khoảng thời gian ngắn, bạn nói rằng bạn có proxy từ trang web proxy miễn phí phổ biến có nghĩa là bạn không phải là người duy nhất sử dụng máy chủ đó nó thường dưới tải nặng.

Nếu bạn thêm một số chậm trễ giữa các yêu cầu của bạn như thế này:

from time import sleep 

[...] 

data=requests.get(url, proxies=proxy) 
data1=data.content 
print data1 
print {'http': line} 
sleep(1) 

(lưu ý sleep(1) mà tạm dừng việc thực hiện các mã trong một giây)

Liệu nó hoạt động?