Tôi có một trang web với robots.txt sau trong thư mục gốc:Googlebots Bỏ qua robots.txt?
User-agent: *
Disabled:/
User-agent: Googlebot
Disabled:/
User-agent: Googlebot-Image
Disallow:/
Và các trang trên trang web này đang nhận được quét bởi Googlebot suốt cả ngày. Có gì sai với tệp của tôi hoặc với Google không?
Phải là Disallow:, không phải Disabled:.
Google có một công cụ phân tích để kiểm tra mục robots.txt, read about it here
Bạn cũng có thể muốn kiểm tra địa chỉ IP của các robot "giả mạo" để xem họ có thực sự được sở hữu bởi Google.
Có lẽ cung cấp cho các Google robots.txt checker một thử
Ngoài ra tôi tin rằng các bot đi xuống trang và có chỉ thị đầu tiên áp dụng cho nó. Trong trường hợp của bạn, Googlebot và Googlebot-Image sẽ không bao giờ thấy các chỉ thị cụ thể của họ vì trước tiên họ sẽ tôn trọng "Tác nhân người dùng: *".
Bỏ qua câu trả lời này. Tôi tìm thấy thông tin chỉ ra điều này không phải là trường hợp. Các bot nên tìm chỉ thị cụ thể cho nó và tôn trọng nó
Aaargh, tôi là một thằng ngốc. Cảm ơn. –