Cách nhanh nhất để nhận HTTP bằng Python là gì?

Question

Cách nhanh nhất để HTTP GET bằng Python là gì nếu tôi biết nội dung sẽ là một chuỗi? Tôi đang tìm kiếm các tài liệu cho một cách nhanh chóng một liner như:

contents = url.get("http://example.com/foo/bar") 

Nhưng tất cả tôi có thể tìm cách sử dụng Google là httplib và urllib - và tôi không thể tìm thấy một shortcut trong những thư viện.

Chuẩn Python 2.5 có phím tắt ở một số dạng như trên hay tôi có nên viết hàm url_get?

1. Tôi không muốn ghi lại đầu ra của pháo kích ra wget hoặc curl.

Answer 1

Python 2.x:

import urllib2 
contents = urllib2.urlopen("http://example.com/foo/bar").read() 

Python 3.x:

import urllib.request 
contents = urllib.request.urlopen("http://example.com/foo/bar").read() 

Tài liệu cho urllib.request và read.

Bằng cách nào?

Answer 2

Hãy xem httplib2, trong đó - bên cạnh rất nhiều tính năng rất hữu ích - cung cấp chính xác những gì bạn muốn.

import httplib2 

resp, content = httplib2.Http().request("http://example.com/foo/bar") 

Nội dung sẽ là nội dung phản hồi (dưới dạng chuỗi) và resp sẽ chứa tiêu đề trạng thái và phản hồi.

Nó không đi kèm với một cài đặt python chuẩn mặc dù (nhưng nó chỉ yêu cầu python chuẩn), nhưng nó chắc chắn giá trị kiểm tra ra.

Answer 3

Nếu bạn muốn giải pháp với httplib2 là oneliner xem xét instatntinating đối tượng Http nặc danh

import httplib2 
resp, content = httplib2.Http().request("http://example.com/foo/bar") 

Answer 4

Dưới đây là một kịch bản wget bằng Python: giải pháp

# From python cookbook, 2nd edition, page 487 
import sys, urllib 

def reporthook(a, b, c): 
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b)/c * 100), c), 
for url in sys.argv[1:]: 
    i = url.rfind("/") 
    file = url[i+1:] 
    print url, "->", file 
    urllib.urlretrieve(url, file, reporthook) 
print 

Answer 5

theller cho wget là thực sự hữu ích, tuy nhiên, tôi thấy nó không in ra tiến trình trong suốt quá trình tải xuống. Nó hoàn hảo nếu bạn thêm một dòng sau khi in báo cáo trong reporthook.

import sys, urllib 

def reporthook(a, b, c): 
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b)/c * 100), c), 
    sys.stdout.flush() 
for url in sys.argv[1:]: 
    i = url.rfind("/") 
    file = url[i+1:] 
    print url, "->", file 
    urllib.urlretrieve(url, file, reporthook) 
print 

Answer 6

Bạn có thể sử dụng thư viện có tên requests.

import requests 
r = requests.get("http://example.com/foo/bar") 

Điều này khá dễ dàng. Sau đó, bạn có thể làm như sau:

>>> print r.status_code 
>>> print r.headers 
>>> print r.content 

Answer 7

Nếu bạn đang làm việc với API HTTP cụ thể, cũng có nhiều lựa chọn thuận tiện hơn như Nap.

Ví dụ, dưới đây là cách để có được các GIST từ Github từ 01 tháng năm 2014:

from nap.url import Url 
api = Url('https://api.github.com') 

gists = api.join('gists') 
response = gists.get(params={'since': '2014-05-01T00:00:00Z'}) 
print(response.json()) 

Thêm ví dụ: https://github.com/kimmobrunfeldt/nap#examples

Answer 8

giải pháp xuất sắc Xuân, Theller.

Đối với nó để làm việc với python 3 làm những điều sau đây thay đổi

import sys, urllib.request 

def reporthook(a, b, c): 
    print ("% 3.1f%% of %d bytes\r" % (min(100, float(a * b)/c * 100), c)) 
    sys.stdout.flush() 
for url in sys.argv[1:]: 
    i = url.rfind("/") 
    file = url[i+1:] 
    print (url, "->", file) 
    urllib.request.urlretrieve(url, file, reporthook) 
print 

Ngoài ra, các URL bạn nhập phải được đi trước bởi một "http: //", nếu không nó sẽ trả về một lỗi gõ url rõ.

Answer 9

Nếu không có thêm hàng nhập khẩu cần thiết làm giải pháp này (cho tôi) - cũng với https:

try: 
    import urllib2 as urlreq # Python 2.x 
except: 
    import urllib.request as urlreq # Python 3.x 
req = urlreq.Request("http://example.com/foo/bar") 
req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36') 
urlreq.urlopen(req).read() 

tôi thường gặp khó khăn lấy nội dung khi không xác định một "User-Agent" trong thông tin tiêu đề. Sau đó, thông thường các yêu cầu sẽ bị hủy với nội dung như sau: urllib2.HTTPError: HTTP Error 403: Forbidden hoặc urllib.error.HTTPError: HTTP Error 403: Forbidden.