Có công cụ dòng lệnh hoặc thư viện nào để hiển thị các trang web sử dụng JavaScript không?

Question

Dọn dẹp trang trên Internet dường như đã đánh một phần bức tường cho tôi, vì ngày càng có nhiều trang web phụ thuộc vào JavaScript để hiển thị các phần của màn hình.

Dường như với tôi rằng với rất nhiều bố trí nguồn mở và kết xuất đồ họa JavaScript phát hành (như WebKit, Gecko và Chromium + V8) rằng ai đó phải làm một công cụ để tải về một trang và render JavaScript của nó mà không cần phải chạy một thực tế trình duyệt. Tuy nhiên, tôi không bật lên những gì tôi đang tìm kiếm với các tìm kiếm của tôi - Tôi đã tìm thấy các công cụ như Selenium-rc, nhưng chúng phụ thuộc vào một trình duyệt đang chạy. Tôi quan tâm đến bất kỳ công cụ hoặc thư viện nào có thể thực hiện một (hoặc cả hai) nội dung sau:

1. Chương trình có thể chạy từ dòng lệnh (* nix), được cung cấp nguồn của trang , trả về nguồn của trang như được hiển thị bởi một số công cụ JS.

2. Hỗ trợ tích hợp bằng một ngôn ngữ cụ thể cho phép một (dễ dàng) chuyển nguồn của trang cho nó và trả về nguồn của trang như được hiển thị bởi một số công cụ JS.

Tôi nghĩ # 1 thích hợp hơn, nhưng # 2 sẽ hữu ích hơn nếu công cụ tồn tại bằng ngôn ngữ tôi muốn làm việc. Ngoài ra, tôi không quan tâm đến công cụ JS cụ thể - mọi người tương đối hiện đại sẽ làm. Có gì ngoài kia?

Answer 1

Có Cobra Engine cho Java (http://lobobrowser.org/cobra.jsp), xử lý Javascript (nó cũng có trình kết xuất đồ họa, nhưng đó là tùy chọn). Tôi đã không bao giờ sử dụng nó, nhưng đã nghe những điều tốt đẹp nói về nó.

Answer 2

Bạn có thể xem HTMLUnit. Mục đích chính của nó là thử nghiệm web tự động, nhưng tôi nghĩ nó có thể cho phép bạn có được trang được hiển thị.

Answer 3

Chúng tôi đã sử dụng Rhino đôi khi trước đây để thực hiện một số thử nghiệm tự động từ Java. Dường như nó sẽ thực hiện công việc cho bạn :)

Answer 4

Vâng, có công cụ DumpRenderTree được sử dụng như một phần của bộ thử nghiệm WebKit. Tôi không chắc nó thích hợp như thế nào để biến thành một công cụ độc lập, nhưng nó làm những gì bạn yêu cầu (render HTML, chạy JavaScript, và đổ cây render của nó ra đĩa).

Answer 5

tôi nghĩ rằng có một mã ví dụ cho Qt sử dụng WebKit được bao gồm để hiển thị một trang cho một bản đồ pixmap. từ đó đến một tiện ích CLI đầy đủ chỉ là xác định nhu cầu của bạn.

tất nhiên, đối với hầu hết màn hình scraping cần bạn muốn văn bản, không phải là một pixmap ... nếu đó là những gì bạn muốn, kiểm tra tốt hơn Rhino

Answer 6

Nó rất ít mã để có một WebView làm cho một trang mà không hiển thị bất cứ điều gì, nhưng nó phải là một ứng dụng GUI. Họ cũng có thể lấy đối số dòng lệnh và ẩn cửa sổ. Sử dụng WebKit trực tiếp nó có thể là có thể trong một công cụ.

Ngoài việc truy cập DOM phức tạp trong Objective-C WebKit cũng có thể tiêm JavaScript và cùng với jQuery tạo ra giải pháp cạo tốt đẹp. Tuy nhiên, tôi không biết bất kỳ ứng dụng phổ dụng nào làm điều đó.

Answer 7

Vì JavaScript có thể thực hiện rất nhiều thao tác đối với mô hình đối tượng tài liệu của trang web (DOM), có vẻ như để xóa chính xác nội dung của một trang tùy ý, bạn không cần phải chạy một công cụ JavaScript. cũng cần một bản trình bày DOM đầy đủ và chính xác của trang. Đó là một cái gì đó bạn sẽ chỉ nhận được nếu bạn có một công cụ trình duyệt thực sự instantiated. Có thể sử dụng một công cụ WebKit hoặc Gecko được nhúng, không hiển thị cho điều này, sau đó sau khi tải trễ phù hợp để cho phép thực thi tập lệnh, chỉ cần đổ nội dung DOM ở dạng HTML.

Answer 8

web kit html sang pdf hoạt động hoàn hảo, thậm chí nó có thể sản xuất jpg

http://wkhtmltopdf.googlecode.com