Tôi muốn thu thập thông tin một trang web, vấn đề là, đầy đủ các thứ JavaScript, chẳng hạn như các nút và như vậy khi chúng được nhấn, chúng không thay đổi URL, nhưng dữ liệu trên trang được thay đổi.Tôi làm cách nào để xử lý Javascript trong trình thu thập dữ liệu web Perl?
Thông thường tôi sử dụng LWP/Cơ giới hóa để thu thập dữ liệu trang web, nhưng không hỗ trợ JavaScript. bất kỳ ý tưởng nào?
tùy chọn khác có thể là Selenium với WWW::Selenium mô-đun
Mô-đun WWW::Scripter có JavaScript plugin có thể hữu ích. Không thể nói rằng tôi đã sử dụng nó bản thân mình, tuy nhiên.
WWW::Mechanize::Firefox có thể sử dụng. theo cách đó bạn có thể có Firefox xử lý các vấn đề JavaScript phức tạp và sau đó trích xuất html kết quả.
iMacros for IE/Firefox/Chrome là một scraper web rất linh hoạt và có thể được điều khiển từ Perl: http://wiki.imacros.net/Perl
tôi sẽ đề nghị HtmlUnit và Perl wrapper: WWW::HtmlUnit.