Làm cách nào để cho phép trình thu thập thông tin truy cập vào chỉ mục index.php, sử dụng robots.txt?

Question

Nếu tôi muốn chỉ cho phép trình thu thập thông tin truy cập index.php, điều này có hoạt động không?

User-agent: * 
Disallow:/
Allow: /index.php 

Answer 1

Bạn có thể sử dụng Google Robots tool để thanh toán. Tôi sẽ không bao giờ đặt bất kỳ thư mục bí mật nào trong tệp robots vì tôi đoán rằng một dòng như dưới đây sẽ là mật ong cho những con nhện nhất định.

Disallow: /secret 

Answer 2

Hãy thử trao đổi thứ tự của Disallow/Allow:

User-agent: * 
Allow: /index.php 
Disallow:/

Xem thông tin này từ wikipedia:

"Tuy nhiên, để có tương thích với tất cả các robot, nếu bạn muốn cho phép các tệp đơn lẻ bên trong thư mục không được phép khác, bạn cần đặt trước chỉ thị Cho phép , sau đó là Disallow, ví dụ:"

http://en.wikipedia.org/wiki/Robots.txt

Tuy nhiên tôi sẽ không mong đợi nó làm việc quá luôn

Answer 3

Vâng, nó sẽ làm việc. Đây là kết quả thử nghiệm từ số Google Webmaster Tool.

Url 
http://www.example.org/index.php 

Googlebot 
Allowed by line 3: Allow: /index.php 

Googlebot-Mobile 
Allowed by line 3: Allow: /index.php 

Tuy nhiên, hãy nhớ rằng với cấu hình này, trang chủ của bạn sẽ không được thu thập trừ khi trang được truy cập với đường dẫn đủ điều kiện. Nói cách khác, http://www.example.org/ bị cấm trong khi http://www.example.org/index.php được cho phép.

Nếu bạn muốn trang chủ của mình có thể truy cập được, đây là phiên bản tốt hơn của tệp của bạn.

User-agent: * 
Disallow:/
Allow: /index.php 
Allow: /$ 

Answer 4

User-agent: * 

Allow: /index.php 
Disallow:/

Answer 5

User-agent: * 
Allow: /$ 
Allow: /index.php 
Allow: /sitemap.xml 
Allow: /robots.txt 
Disallow:/

Sitemap: http://www.your-site-name.com/sitemap.xml