Có cách nào để buộc một con nhện làm chậm hoạt động của trang web không? Bất kỳ thứ gì có thể được đặt trong tiêu đề hoặc robots.txt?Làm chậm tốc độ truy cập trang web
Tôi nghĩ tôi nhớ đã đọc một số điều về điều này là có thể nhưng không thể tìm thấy bất kỳ thứ gì ngay bây giờ.
Nếu bạn đang đề cập đến Google, bạn có thể điều chỉnh tốc độ Google truy cập trang web của bạn bằng cách sử dụng tài khoản Google Webmaster của bạn (Google Webmaster Tools).
Ngoài ra còn có này, bạn có thể đặt trong robots.txt
User-agent: *
Crawl-delay: 10
đâu chậm trễ bò được xác định là số giây giữa mỗi lần thu thập trang. Tất nhiên, giống như mọi thứ khác trong robots.txt, trình thu thập thông tin phải tôn trọng nó, vì vậy YMMV.
Tôi không nghĩ rằng rô bốt sẽ làm bất cứ điều gì ngoại trừ cho phép hoặc không cho phép. Hầu hết các công cụ tìm kiếm sẽ cho phép bạn tùy chỉnh cách họ lập chỉ mục trang web của bạn.
Nếu bạn có một tác nhân cụ thể gây ra sự cố, bạn có thể hoặc là chặn nó cụ thể, hoặc xem bạn có thể cấu hình nó.
Ngoài sử dụng các công cụ quản trị trang web của Google cho Googlebot (xem câu trả lời Robert Harvey 's), Yahoo! và Bing hỗ trợ các chuẩn Crawl-delay chỉ trong robots.txt:
http://en.wikipedia.org/wiki/Robots.txt#Nonstandard_extensions
Khi nói đến xô đẩy, tuy nhiên, một bot bị lỗi đang đóng sầm trang web của bạn sẽ chỉ bị chặn ở mức cao hơn (ví dụ: bộ cân bằng tải, bộ định tuyến, proxy bộ nhớ đệm, bất kỳ điều gì phù hợp với kiến trúc của bạn).
Xem Throttling your web server để biết giải pháp sử dụng Perl. Randal Schwartz nói rằng ông sống sót sau một cuộc tấn công Slashdot bằng cách sử dụng giải pháp này.
Tại sao bạn muốn làm chậm nó xuống? –