Sử dụng Gecko/Firefox hoặc Webkit có phân tích HTML trong python

Question

Tôi đang sử dụng BeautifulSoup và urllib2 để tải xuống các trang HTML và phân tích chúng. Vấn đề là với các trang HTML được tạo sai. Mặc dù BeautifulSoup rất giỏi xử lý HTML được định dạng sai nhưng vẫn không tốt bằng Firefox.

Xem xét Firefox hoặc Webkit được cập nhật và linh hoạt hơn khi xử lý HTML, tôi cho rằng nó lý tưởng để sử dụng chúng để xây dựng và chuẩn hóa cây DOM của một trang và sau đó điều khiển nó thông qua Python.

Tuy nhiên, tôi không thể tìm thấy bất kỳ ràng buộc python nào cho cùng. Bất cứ ai có thể đề xuất một cách?

Tôi đã chạy vào một số giải pháp chạy một tiến trình Firefox không đầu và thao tác nó thông qua python nhưng có sẵn một giải pháp bổ sung hơn.

Answer 1

Có lẽ pywebkitgtk sẽ làm những gì bạn cần.

Answer 2

thấy http://wiki.python.org/moin/WebBrowserProgramming

có khá nhiều lựa chọn - tôi đang duy trì trang trên để tôi không giữ lặp lại bản thân mình.

bạn nên xem bộ đồ ngủ-máy tính để bàn: xem ví dụ/uitest ví dụ vì chúng tôi sử dụng chính xác mẹo này để lấy bản sao của trang HTML "out", để trình biên dịch python-to-javascript có thể được kiểm tra bằng cách so sánh kết quả trang sau mỗi lần kiểm tra đơn vị.

mỗi thời gian chạy được hỗ trợ và sử dụng bởi bộ đồ ngủ-máy tính để bàn có khả năng cho phép truy cập vào thuộc tính "innerHTML" của phần tử cơ thể của tài liệu (và nhiều hơn thế nữa).

dòng dưới cùng: nó là tầm thường để làm những gì bạn muốn làm, nhưng bạn phải biết nơi để xem xét để tìm hiểu làm thế nào để làm điều đó.

l.

Answer 3

Bạn có thể muốn PyWebkitDFB từ http://www.gnu.org/software/pythonwebkit/