Sơ đồ trang web chứa các url bị chặn bởi robots.txt

Question

Chúng tôi đã gặp phải tình huống ngẫu nhiên trong đó trang Wordpress của chúng tôi đã đặt robots.txt để không cho phép thu thập dữ liệu trong khoảng 7 ngày. Tôi hiện đang cố gắng để làm sạch và Công cụ quản trị trang web đang nói "Sơ đồ trang web chứa các url bị chặn bởi robots.txt". . SAU I "đã điều chỉnh robots.txt và phép crawl Không có lý do tại sao các URL sẽ vẫn bị chặn và khi tôi truy cập các ví dụ chúng xuất hiện OK

URL Robots.txt:. URL http://bit.ly/1u2Qlbx

Sơ đồ trang web : http://bit.ly/1BfkSmx

URL của tôi nơi robots.txt chặn theo Webmaster Tools: http://bit.ly/1uLBRea HOẶC http://bit.ly/1CsrHnr

Answer 1

Đừng lo lắng, nếu bạn bật lại URL, trình thu thập dữ liệu web của Google sẽ nhận thấy và thu thập dữ liệu các trang của bạn một lần nữa. Tin nhắn sẽ biến mất khỏi GWT trong vòng vài ngày.

Cuối cùng, bạn có thể kiểm tra robots.txt của mình bằng tính năng tương ứng của GWT.

Answer 2

sử dụng plugin này

https://wordpress.org/plugins/wp-robots-txt/

nó sẽ loại bỏ robots.txt trước và thiết lập robots.txt wordpress đơn giản và chờ đợi một ngày

vấn đề có thể được giải quyết.

Answer 3

Google có thể mất một lúc để thu thập dữ liệu lại trang web của bạn. Tôi muốn nói chờ đợi có lẽ là lựa chọn duy nhất của bạn.

Tôi đã mất đến 7 ngày để lập chỉ mục mọi thứ chính xác sau khi gửi bản đồ trang web hoàn chỉnh qua công cụ quản trị trang web.

Dường như bạn đang sử dụng Yoast SEO, plugin đó sẽ cho bạn biết nếu có bất kỳ vấn đề nào khác tồn tại.