Đọc các trang web được tạo theo kiểu động bằng cách sử dụng python

Question

Tôi đang cố gắng loại bỏ một trang web bằng cách sử dụng súp trăn và đẹp. Tôi gặp phải điều đó ở một số trang web, các liên kết hình ảnh mặc dù được thấy trên trình duyệt không thể được nhìn thấy trong mã nguồn. Tuy nhiên, khi sử dụng Chrome Inspect hoặc Fiddler, chúng ta có thể thấy các mã tương ứng. Những gì tôi nhìn thấy trong mã nguồn là:

<div id="cntnt"></div> 

Nhưng trên Chrome Kiểm tra, tôi có thể nhìn thấy một bó toàn bộ HTML \ mã CSS được tạo ra trong lớp div này. Có cách nào để tải nội dung được tạo ra cũng trong python? Tôi đang sử dụng urllib thường xuyên trong python và tôi có thể nhận được nguồn nhưng không có phần được tạo ra.

Tôi không phải là nhà phát triển web vì vậy tôi không thể thể hiện hành vi theo cách tốt hơn. Xin vui lòng làm rõ nếu câu hỏi của tôi có vẻ mơ hồ!

Answer 1

Bạn cần JavaScript Engine để phân tích và chạy mã JavaScript bên trong trang. Có một loạt các trình duyệt không đầu có thể giúp bạn

http://code.google.com/p/spynner/

http://phantomjs.org/

http://zombie.labnotes.org/

http://github.com/ryanpetrello/python-zombie

http://jeanphix.me/Ghost.py/

http://webscraping.com/blog/Scraping-JavaScript-webpages-with-webkit/

Answer 2

Nội dung của trang web có thể được tạo ra sau khi tải qua javascript, Để có được kịch bản tạo ra thông qua python tham khảo this answer