htmlunit Không thể đọc thuộc tính "đẩy" từ không xác định

Question

Tôi đang cố thu thập dữ liệu trang web bằng htmlunit. Bất cứ khi nào tôi chạy nó mặc dù nó chỉ xuất ra lỗi sau:

Caused by: net.sourceforge.htmlunit.corejs.javascript.EcmaError: TypeError: Cannot read property "push" from undefined (https://www.kinoheld.de/dist/prod/0.4.7/widget.js#1) 

Bây giờ tôi không biết nhiều về JS, nhưng tôi đọc rằng push là một loại hoạt động mảng. Điều này có vẻ tiêu chuẩn đối với tôi và tôi không biết tại sao nó sẽ không được hỗ trợ bởi htmlunit.

Dưới đây là đoạn code Tôi đang sử dụng cho đến nay:

public static void main(String[] args) throws IOException { 
    WebClient web = new WebClient(BrowserVersion.FIREFOX_45); 
    web.getOptions().setUseInsecureSSL(true); 
    String url = "https://www.kinoheld.de/kino-muenchen/royal-filmpalast/vorstellung/280823/?mode=widget&showID=280828#panel-seats"; 
    web.getOptions().setThrowExceptionOnFailingStatusCode(false); 
    web.waitForBackgroundJavaScript(9000); 
    HtmlPage response = web.getPage(url); 

    System.out.println(response.getTitleText()); 
} 

tôi thiếu gì? Có cách nào để giải quyết vấn đề này hay không? Cảm ơn bạn trước!

Answer 1

Tôi đã gặp phải vấn đề tương tự trước đây. Đây là một vấn đề với đơn vị HTML được thiết kế như một khung khai thác thử nghiệm thay vì một trang web cạo một. Bạn có đang chạy phiên bản mới nhất của đơn vị HTML không?

tôi đã có thể chạy mã của bạn bằng cách thêm cả setThrowExceptionOnScriptError(false) (như đã đề cập trong câu trả lời Coffee Chuyển đổi của) dòng cũng như thêm java.util.logging.Logger.getLogger("com.gargoylesoftware").setLevel(java.util.logging.Level.OFF); ở phía trên cùng của phương pháp này để vô hiệu hóa các bãi chứa log. Việc này mang lại công suất:

Royal Filmpalast München München | kinoheld.de 

Full mã như sau:

public static void main(String[] args) throws IOException { 

    java.util.logging.Logger.getLogger("com.gargoylesoftware").setLevel(java.util.logging.Level.OFF); 

    WebClient webClient = new WebClient(BrowserVersion.FIREFOX_45); 
    String url = "https://www.kinoheld.de/kino-muenchen/royal-filmpalast/vorstellung/280823/?mode=widget&showID=280828#panel-seats"; 

    webClient.getOptions().setUseInsecureSSL(true); 
    webClient.getOptions().setThrowExceptionOnScriptError(false); 
    webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); 
    webClient.waitForBackgroundJavaScript(9000); 
    HtmlPage response = webClient.getPage(url); 

    System.out.println(response.getTitleText()); 
} 

này được chạy trên dòng lệnh RedHat với HTML Unit 2.2.1. Hi vọng điêu nay co ich.

Answer 2

Hãy thử thêm

web.getOptions().setThrowExceptionOnScriptError(false); 

trước khi bạn cố gắng để có được trang. Điều này buộc htmlunit bỏ qua lỗi. Tuy nhiên, điều này có thể không làm việc 100% thời gian nếu ví dụ javascript ném lỗi là rất quan trọng để có được dữ liệu bạn đang loại bỏ (mà nó hy vọng là không). Nếu cách này không hiệu quả, hãy thử sử dụng Selenium với ChromeDriver hoặc GhostDriver.

Source