thu thập dữ liệu trang web động bằng htmlunit

Question

Tôi đang thu thập dữ liệu bằng cách sử dụng HtmlUnit từ trang web động, sử dụng cuộn vô hạn để tìm nạp dữ liệu động, giống như nguồn cấp tin tức của facebook. Tôi đã sử dụng các câu sau đây để mô phỏng các di chuyển xuống sự kiện:

webclient.setJavaScriptEnabled(true); 
webclient.setAjaxController(new NicelyResynchronizingAjaxController()); 
ScriptResult sr=myHtmlPage.executeJavaScript("window.scrollBy(0,600)"); 
webclient.waitForBackgroundJavaScript(10000); 
myHtmlPage=(HtmlPage)sr.getNewPage(); 

Nhưng có vẻ như myHtmlPage giữ nguyên với trước đó, ví dụ, dữ liệu mới không được gắn trong myHtmlPage, kết quả là tôi chỉ có thể thu thập dữ liệu đầu tiên vài dữ liệu trên trang web. Cảm ơn bạn đã giúp đỡ!

Answer 1

Tôi cũng đang tìm kiếm một điều tương tự. Tôi chỉ có thể thấy rằng nó không phải là sự kiện cuộn (90% chắc chắn). Có link trên JS mà là responsilbe cho tải trang và có thể có thể giúp bạn.

Answer 2

Tôi gặp sự cố tương tự khi nội dung được tải sau khi cuộn trang. Tôi đã giải quyết nó bằng cách sử dụng:

webClient.getCurrentWindow().setInnerHeight(Integer.MAX_VALUE);