Cách truy cập trang web theo lập trình trong java

Question

Có một trang web mà từ đó tôi muốn truy xuất một chuỗi nhất định. Để làm như vậy, tôi cần phải đăng nhập, nhấp vào một số nút, điền vào một hộp văn bản, bấm vào một nút khác - và sau đó chuỗi xuất hiện.

Làm cách nào để viết chương trình java tự động làm điều đó? Có thư viện hữu ích nào cho mục đích đó không?

Cảm ơn

Answer 1

Hãy thử HtmlUnit

HtmlUnit là một "GUI-Less trình duyệt cho chương trình Java". Nó mô hình HTML tài liệu và cung cấp API cho phép bạn gọi các trang, điền vào các mẫu , nhấp vào liên kết, v.v ... giống như bạn thực hiện trong trình duyệt "bình thường" của mình.

Ví dụ mã cho hình thức submiting:

@Test 
public void submittingForm() throws Exception { 
    final WebClient webClient = new WebClient(); 

    // Get the first page 
    final HtmlPage page1 = webClient.getPage("http://some_url"); 

    // Get the form that we are dealing with and within that form, 
    // find the submit button and the field that we want to change. 
    final HtmlForm form = page1.getFormByName("myform"); 

    final HtmlSubmitInput button = form.getInputByName("submitbutton"); 
    final HtmlTextInput textField = form.getInputByName("userid"); 

    // Change the value of the text field 
    textField.setValueAttribute("root"); 

    // Now submit the form by clicking the button and get back the second page. 
    final HtmlPage page2 = button.click(); 

    webClient.closeAllWindows(); 
} 

Để biết thêm chi tiết kiểm tra: http://htmlunit.sourceforge.net/gettingStarted.html

Answer 2

Vâng khi bạn nhấn một nút thường bạn làm một yêu cầu thông qua một phương thức HTTP POST, vì vậy bạn nên sử dụng HttpClient để xử lý yêu cầu và HtmlParser để xử lý các trang phản ứng với chuỗi bạn cần.

Answer 3

Có:

• java.net.URL#openConnection() sẽ cho phép bạn thực hiện các yêu cầu http và nhận được http response

• Apache HttpComponents là thư viện giúp bạn làm việc với HTTP dễ dàng hơn.

Answer 4

Hãy nhìn vào các dự án apache HttpClient, hoặc nếu bạn cần phải chạy Javascript trên trang, hãy thử HttpUnit.

Answer 5

Cách siêu đơn giản để làm điều này là sử dụng HtmlUnit đây:

http://htmlunit.sourceforge.net/

và những gì bạn muốn làm có thể đơn giản như:

@Test 
public void homePage() throws Exception { 
    final WebClient webClient = new WebClient(); 
    final HtmlPage page = webClient.getPage("http://htmlunit.sourceforge.net"); 
    assertEquals("HtmlUnit - Welcome to HtmlUnit", page.getTitleText()); 
}