Làm cách nào để truy xuất URL từ trang web bằng Java?

Question

Tôi muốn sử dụng các lệnh HTTP GET và POST để truy xuất URL từ một trang web và phân tích cú pháp HTML. Làm thế nào để tôi làm điều này?

Answer 1

Bạn có thể sử dụng HttpURLConnection kết hợp với URL.

URL url = new URL("http://example.com"); 
HttpURLConnection connection = (HttpURLConnection)url.openConnection(); 
connection.setRequestMethod("GET"); 
connection.connect(); 

InputStream stream = connection.getInputStream(); 
// read the contents using an InputStreamReader 

Answer 2

Sử dụng http://hc.apache.org/httpclient-3.x/

Answer 3

Cách đơn giản nhất để làm một GET là sử dụng được xây dựng trong java.net.URL. Tuy nhiên, như đã đề cập, httpclient là cách thích hợp để đi, vì nó sẽ cho phép bạn trong số những người khác xử lý các chuyển hướng.

Để phân tích cú pháp html, bạn có thể sử dụng html parser.

Answer 4

Tôi đã sử dụng JTidy trong một dự án và hoạt động khá tốt. Danh sách các trình phân tích cú pháp khác là here, nhưng ngoài JTidy tôi không biết bất kỳ trình phân tích cú pháp nào.

Answer 5

Câu trả lời được đánh dấu/phê duyệt cho điều này là từ robhruska - cảm ơn bạn. Điều này cho thấy cách cơ bản nhất để làm điều đó, nó đơn giản với một sự hiểu biết về những gì cần thiết để làm một kết nối URL đơn giản. Tuy nhiên, chiến lược dài hạn sẽ là sử dụng HTTP Client để biết thêm các tính năng nâng cao và giàu tính năng để hoàn thành tác vụ này.

Cảm ơn bạn tất cả mọi người, đây là câu trả lời nhanh một lần nữa:

URL url = new URL("http://example.com"); 
HttpURLConnection connection = (HttpURLConnection)url.openConnection(); 
connection.setRequestMethod("GET"); 
connection.connect(); 

InputStream stream = connection.getInputStream(); 
// read the contents using an InputStreamReader