Cạo các trang web đã bật Javascript?

Question

Tôi đang cố gắng loại bỏ và gửi thông tin đến các trang web phụ thuộc nhiều vào Javascript để thực hiện hầu hết các hành động của nó. Trang web thậm chí sẽ không hoạt động khi tôi tắt Javascript trong trình duyệt của mình.

Tôi đã tìm kiếm một số giải pháp trên Google và SO và có người đề xuất tôi nên thiết kế lại Javascript, nhưng tôi không biết làm cách nào để thực hiện điều đó.

Cho đến nay tôi đã sử dụng Cơ chế và hoạt động trên các trang web không yêu cầu Javascript.

Có cách nào để truy cập các trang web sử dụng Javascript bằng cách sử dụng urllib2 hoặc một cái gì đó tương tự không? Tôi cũng sẵn sàng học Javascript, nếu đó là những gì nó cần.

Answer 1

Khám phá crowbar. Tôi đã không có bất kỳ kinh nghiệm với nó, nhưng tôi đã tò mò về câu trả lời cho câu hỏi của bạn vì vậy tôi bắt đầu googling xung quanh. Tôi muốn biết nếu điều này làm việc cho bạn.

http://grep.codeconsult.ch/2007/02/24/crowbar-scrape-javascript-generated-pages-via-gecko-and-rest/

Answer 2

Có lẽ bạn có thể sử dụng Selenium Webdriver, trong đó có cam kết ràng buộc python Tôi tin. Tôi nghĩ rằng nó chủ yếu được sử dụng như một công cụ để kiểm tra các trang web, nhưng tôi đoán nó nên có thể sử dụng cho cạo quá.

Answer 3

Tôi đã có chính xác cùng một vấn đề. Nó không phải là đơn giản cả, nhưng cuối cùng tôi đã tìm thấy một giải pháp tuyệt vời, sử dụng PyQt4.QtWebKit.

Bạn sẽ tìm thấy lời giải thích trên trang web này: http://blog.motane.lu/2009/07/07/downloading-a-pages-content-with-python-and-webkit/

Tôi đã thử nghiệm nó, tôi hiện đang sử dụng nó, và đó là tuyệt vời!

Lợi thế lớn của nó là nó có thể chạy trên máy chủ, chỉ sử dụng X mà không có môi trường đồ họa.

Answer 4

Tôi thực sự khuyên bạn nên sử dụng Selenium. Nó chủ yếu được thiết kế để thử nghiệm các ứng dụng Web từ một góc nhìn người dùng, tuy nhiên về cơ bản nó là một trình điều khiển "FireFox" .Tôi đã thực sự sử dụng nó cho mục đích này ... mặc dù tôi đã vẽ một trang web AJAX động. có dễ nhận biết "Anchor Text" Selenium có thể "click" tất cả mọi thứ nên sắp xếp riêng của mình ra.

Hy vọng rằng sẽ giúp

Answer 5

Bạn nên xem xét sử dụng Ghost, thư viện Python mà kết thúc tốt đẹp PyQt4 + WebKit hack.

Điều này làm cho g ứng dụng WebKit:

import ghost 
g = ghost.Ghost() 

Bạn có thể lấy một trang với g.open(url) và sau đó g.content sẽ đánh giá tài liệu ở trạng thái hiện tại của tài liệu.

Ghost có các tính năng thú vị khác, như tiêm JS và một số phương thức điền biểu mẫu và bạn có thể chuyển tài liệu kết quả đến BeautifulSoup và v.v. soup = bs4.BeautifulSoup(g.content).

Cho đến nay, Ghost là thứ duy nhất tôi tìm thấy làm cho loại điều này trở nên dễ dàng trong Python. Giới hạn duy nhất tôi gặp phải là bạn không thể dễ dàng tạo nhiều hơn một cá thể của đối tượng khách hàng, ghost.Ghost, nhưng bạn có thể làm việc xung quanh điều đó.

Answer 6

tôi đã viết một hướng dẫn nhỏ về chủ đề này, điều này có thể giúp:

http://koaning.io/dynamic-scraping-with-python.html

Về cơ bản những gì bạn làm là bạn có thư viện selen giả vờ rằng nó là một trình duyệt firefox, trình duyệt sẽ đợi cho đến khi tất cả javascript đã được tải trước khi nó tiếp tục truyền cho bạn chuỗi html. Khi bạn có chuỗi này, bạn có thể phân tích cú pháp đó với beautifulsoup.