Làm cho trình thu thập dữ liệu web/spider

Question

Tôi đang xem xét việc tạo trình thu thập dữ liệu web/nhện nhưng tôi cần một người nào đó chỉ cho tôi đúng hướng để bắt đầu.

Về cơ bản, con nhện của tôi sẽ tìm kiếm các tệp âm thanh và lập chỉ mục chúng.

Tôi chỉ tự hỏi nếu có ai có ý tưởng về cách tôi nên làm điều đó. Tôi đã nghe nói rằng việc thực hiện nó trong PHP sẽ rất chậm. Tôi biết vb.net để có thể có ích?

Tôi đã suy nghĩ về việc sử dụng tìm kiếm loại tệp của Google để nhận liên kết thu thập thông tin. Đó sẽ là tốt?

Answer 1

Trong VB.NET, bạn cần phải lấy HTML trước, vì vậy hãy sử dụng lớp WebClient hoặc các lớp HttpWebRequest và HttpWebResponse. Có rất nhiều thông tin về cách sử dụng chúng trên interweb.

Sau đó, bạn cần phải phân tích cú pháp HTML. Tôi khuyên bạn nên sử dụng cụm từ thông dụng cho điều này.

Ý tưởng của bạn về việc sử dụng Google cho tìm kiếm loại tệp là một điều tốt. Tôi đã làm một điều tương tự một vài năm trước đây để thu thập các tệp PDF để kiểm tra lập chỉ mục PDF trong SharePoint, hoạt động thực sự tốt.

Answer 2

Đây là liên kết trên hướng dẫn về cách viết trình thu thập dữ liệu web trong java. http://java.sun.com/developer/technicalArticles/ThirdParty/WebCrawler/ Tôi chắc chắn nếu bạn google nó, bạn có thể tìm thấy những người cho các ngôn ngữ khác.

Answer 3

Mã giả nên được như thế:

Method spider(URL startURL){ 
Collection URLStore; // Can be an arraylist 
    push(startURL,URLStore);// start with a know url 
     while URLStore ! Empty do 
     currURL= pop(URLStore); //take an url 
     download URL page; 
     push (URLx, URLStore); //for all links to URL in the page which are not already followed, then put in the list 

Để đọc một số dữ liệu từ một trang web trong Java bạn có thể làm:

URL myURL = new URL("http://www.w3.org"); 
BufferedReader in = new BufferedReader(new InputStreamReader(myURL.openStream())); 
String inputLine; 
while ((inputLine = in.readLine()) != null) //you will get all content of the page 
System.out.println(inputLine); // here you need to extract the hyperlinks 
in.close();