Tôi có thể cấu hình HTMLUnit để chỉ chạy các quy trình javascript cụ thể chứ không phải toàn bộ?

Question

Tôi đang tìm cách thu thập thông tin từ một tập hợp các trang web được định dạng rất giống nhau. Tôi cần một số thông tin được tải lên trang bằng Javascript sau khi mở. Có vẻ như HTMLUnit là một công cụ khá phổ biến để làm điều này, vì vậy đó là những gì tôi đang sử dụng. Thật không may là rất chậm, đó là một khiếu nại tôi đã nhìn thấy trên rất nhiều diễn đàn. Lệnh webClient.getPage() là những gì đang thực hiện mãi mãi. Khi tôi tắt Javascript, nó chạy nhanh, nhưng tôi cần thực hiện một số lệnh Javascript. Tôi đã tự hỏi, là có một cách để chọn lọc thực hiện một vài lệnh Javascript thay vì tất cả chúng?

Ngoài ra, có chương trình nào nhanh hơn HTMLUnit để xử lý Javascript không?

Answer 1

Sắp xếp. Bạn có thể quyết định lập trình các URL JavaScript bên ngoài để tải:

HtmlUnit sẽ chạy tất cả JS được nhúng trên trang, nếu JavaScript được bật. Tuy nhiên, nếu không yêu cầu URL bên ngoài nhất định, bạn có thể chọn không tải chúng.

Dưới đây là một số mã để giúp bạn bắt đầu:

webClient.setWebConnection(new FalsifyingWebConnection(webClient) { 
     @Override 
     public WebResponse getResponse(WebRequest request) throws IOException { 

      if(request.getUrl().getPath().toLowerCase().equals("some url i don't need ")) { 
       return createWebResponse(request, "", "application/javascript"); 
      } 

      return super.getResponse(request); 
     } 
    }); 

Thiết lập dưới đây có thể điều tốc độ lên quá:

java.util.logging.Logger.getLogger("com.gargoylesoftware.htmlunit").setLevel(Level.OFF); 

    webClient.setCssErrorHandler(new SilentCssErrorHandler()); 

    webClient.setIncorrectnessListener(new IncorrectnessListener() { 
     @Override 
     public void notify(String s, Object o) { } 
    }); 

    webClient.getCookieManager().setCookiesEnabled(false); 
    webClient.getOptions().setCssEnabled(false); 
    webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); 
    webClient.getOptions().setThrowExceptionOnScriptError(false); 
    webClient.getOptions().setPrintContentOnFailingStatusCode(false);