Trình thu thập thông tin trong Groovy (JSoup VS Crawler4j)

Question

Tôi muốn phát triển trình thu thập dữ liệu web trong Groovy (sử dụng khung Grails và cơ sở dữ liệu MongoDB) có khả năng thu thập dữ liệu trang web, tạo danh sách URL trang web và loại tài nguyên của chúng , thời gian phản hồi và số lượng chuyển hướng có liên quan.

Tôi đang tranh luận về JSoup và Crawler4j. Tôi đã đọc về những gì họ về cơ bản nhưng tôi không thể hiểu rõ sự khác biệt giữa hai người. Bất cứ ai có thể đề xuất đó sẽ là một tốt hơn cho các chức năng trên? Hoặc là nó hoàn toàn không chính xác để so sánh hai?

Cảm ơn.

Answer 1

Crawler4J là trình thu thập thông tin, Jsoup là một trình phân tích cú pháp. Trên thực tế bạn có thể/nên sử dụng cả hai. Crawler4J là giao diện đa luồng dễ dàng để nhận tất cả các url và tất cả các trang (nội dung) của trang web bạn muốn. Sau đó, bạn có thể sử dụng Jsoup để phân tích dữ liệu, với bộ chọn css tuyệt vời (giống như jquery) và thực sự làm điều gì đó với nó. Tất nhiên bạn phải xem xét nội dung động (javascript được tạo). Nếu bạn muốn nội dung đó quá, thì bạn phải sử dụng một cái gì đó khác bao gồm một công cụ javascript (trình duyệt không đầu + phân tích cú pháp) như htmlunit hoặc webdriver (selenium), sẽ thực thi javascript trước khi phân tích cú pháp nội dung.