Các trang web tốt để kiểm tra webcrawler trên

Question

Tôi đang thử nghiệm một trình thu thập dữ liệu web mới và tôi đang tìm một số trang web tốt có thể truy cập trang web đó (chuyển hướng, khung, bất kỳ thứ gì). Có ai biết một số trang web thực sự phức tạp, hoặc những người có thể đi lên nó? Thx

Answer 1

Nếu bạn thử nghiệm nó trên đầu trang 1000 của Alexa, bạn sẽ có được một mẫu đại diện khá điển hình về những gì diễn ra trên trang web. Bạn có thể không có cơ hội thử nghiệm một số giao thức kế thừa (ví dụ: frameset, v.v.), nhưng bạn sẽ có được một ý tưởng khá tốt về hiệu suất đặc biệt là khi nó được tính.