Bắt HTML với Pycurl

Question

Tôi đã cố gắng để lấy một trang HTML sử dụng pycurl, vậy thì tôi có thể phân tích nó để biết thông tin có liên quan sử dụng str.split và một số cho vòng lặp. Tôi biết Pycurl lấy HTML, vì nó in nó vào thiết bị đầu cuối, tuy nhiên, nếu tôi cố gắng làm điều gì đó như

html = str(c.perform()) 

Biến sẽ chỉ tổ chức một chuỗi mà nói "Không".

Làm thế nào tôi có thể sử dụng để có được pycurl html, hoặc chuyển hướng bất cứ điều gì nó gửi đến giao diện điều khiển để nó có thể được sử dụng như là một chuỗi như đã mô tả ở trên không?

Thanks a lot cho bất cứ ai có bất cứ đề nghị!

Answer 1

này sẽ gửi một yêu cầu và lưu trữ/in cơ thể phản ứng:

from StringIO import StringIO  
import pycurl 

url = 'http://www.google.com/' 

storage = StringIO() 
c = pycurl.Curl() 
c.setopt(c.URL, url) 
c.setopt(c.WRITEFUNCTION, storage.write) 
c.perform() 
c.close() 
content = storage.getvalue() 
print content 

nếu bạn muốn để lưu trữ các tiêu đề phản ứng, sử dụng:

c.setopt(c.HEADERFUNCTION, storage.write) 

Answer 2

Các thực hiện() phương pháp thực thi html tìm nạp và ghi kết quả vào một hàm bạn chỉ định. Bạn cần cung cấp bộ đệm để đưa html vào và chức năng ghi. Thông thường, điều này có thể được thực hiện bằng cách sử dụng đối tượng StringIO như sau:

import pycurl 
import StringIO 

c = pycurl.Curl() 
c.setopt(pycurl.URL, "http://www.google.com/") 

b = StringIO.StringIO() 
c.setopt(pycurl.WRITEFUNCTION, b.write) 
c.setopt(pycurl.FOLLOWLOCATION, 1) 
c.setopt(pycurl.MAXREDIRS, 5) 
c.perform() 
html = b.getvalue() 

Bạn cũng có thể sử dụng một tập tin hoặc tempfile hoặc bất cứ điều gì khác mà có thể lưu trữ dữ liệu.