robots.txt chỉ cho phép root, không cho phép mọi thứ khác?

Question

Tôi dường như không thể làm việc này nhưng có vẻ thực sự là cơ bản.

Tôi muốn root domain được thu thập thông

http://www.example.com 

Nhưng không có gì khác để được thu thập thông và tất cả các thư mục con là động

http://www.example.com/* 

tôi đã cố gắng

User-agent: * 
Allow:/
Disallow: /*/ 

nhưng webmaster của Google công cụ kiểm tra cho biết tất cả các thư mục con đều được phép.

Bất kỳ ai có giải pháp cho điều này? Cảm ơn :)

Answer 1

User-agent: * 
Allow: index.html (or /index.php) 
Disallow:/

nên làm điều kỳ diệu.

Answer 2

Theo định nghĩa phân tích cú pháp biểu mẫu Backus-Naur (BNF) trong Google's robots.txt documentation, thứ tự của chỉ thị Allow và Disallow không quan trọng. Vì vậy, thay đổi thứ tự thực sự sẽ không giúp bạn.

Thay vào đó, bạn nên sử dụng toán tử $ để cho biết việc đóng đường dẫn của bạn.

Kiểm tra robots.txt này. Tôi chắc chắn nó sẽ làm việc cho bạn (Tôi cũng xác nhận trong GWT):

user-agent: * 
Allow: /$ 
Disallow:/

này sẽ cho phép http://www.example.com và http://www.example.com/ để được thu thập thông nhưng mọi thứ khác bị chặn.

lưu ý: rằng chỉ Allow thỏa mãn trường hợp sử dụng cụ thể của bạn, nhưng nếu bạn có index.html hoặc default.php, các URL sẽ không được thu thập.

lưu ý phụ: Tôi chỉ thực sự quen thuộc với các hành vi của Googlebot và bingbot. Nếu có bất kỳ công cụ nào khác mà bạn đang nhắm mục tiêu, họ có thể hoặc không có quy tắc cụ thể về cách chỉ thị được liệt kê. Vì vậy, nếu bạn muốn "thêm" chắc chắn, bạn luôn có thể hoán đổi vị trí của các khối chỉ thị Allow và Disallow, tôi chỉ đặt chúng theo cách đó để xóa một số nhận xét.

Answer 3

Khi bạn nhìn vào các thông số kỹ thuật robots.txt google, bạn có thể thấy rằng:

Google, Bing, Yahoo, Ask và hỗ trợ một hình thức hạn chế về "ký tự đại diện" cho các giá trị con đường.Đó là:

1. * chỉ định 0 hoặc nhiều trường hợp của bất kỳ ký tự hợp lệ
2. $ chỉ định vào cuối URL

thấy https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt?hl=en#example-path-matches

Rồi như eywu nói , giải pháp là

user-agent: * 
Allow: /$ 
Disallow:/