Tôi đã gửi tệp robots.txt của mình từ lâu về trước cho Google và nó vẫn cho tôi một cú pháp không được hiểu cho dòng đầu tiên.Cú pháp Robots.txt không được hiểu
Sau khi Googling vấn đề phổ biến nhất là Google thêm '?' ở đầu dòng nhưng nó không làm điều đó với tôi.
url vào robots.txt là
www.leisurepursuits.co.uk/robots.txt
Lỗi này là:
Dòng 1: User-agent: * Cú pháp không hiểu
Lỗi này hiển thị vì định dạng tệp robots.txt được mong đợi là văn bản thuần được mã hóa bằng UTF-8. Tệp bao gồm các bản ghi (các dòng) được phân tách bằng CR, CR/LF hoặc LF.
Nếu mã hóa ký tự không phải là tập hợp con của UTF-8, thì tệp robots.txt của bạn đang được phân tích cú pháp không chính xác.
Trước tiên, hãy kiểm tra url robots.txt của bạn trong http://www.asymptoticdesign.co.uk/cgi-bin/check-url.pl bằng cách chọn tùy chọn thứ hai “nguồn xem” và thấy rằng tùy chọn đó phản hồi thành công hay không.
Bây giờ tải lên tệp robots.txt của bạn một lần nữa. Nó sẽ không hiển thị lỗi như được hiển thị trước đó.
Liên kết không còn hoạt động. http://www.milevis.com/Tips/Details/42 sửa cho tôi – ysrb
Tôi đã tạo tệp robots.txt thông qua VS2013, đây là vấn đề của tôi. Sau khi đọc bài đăng này, tôi đã mở trong Notepad, được lưu, sau đó tải lên lại và nó hoạt động. – JoshYates1980
Tôi nghĩ đó là một câu hỏi tuyệt vời .... cảm ơn Lex. Đã khắc phục sự cố của tôi. – JoshYates1980