Bỏ qua url trong robots.txt với thông số cụ thể?

Question

Tôi muốn cho google để bỏ qua các url như thế này:

http://www.mydomain.com/new-printers?dir=asc&order=price&p=3

Tất cả các url có các thông số dir, trật tự và giá cả nên được bỏ qua nhưng tôi không có kinh nghiệm với Robots.txt.

Bất kỳ ý tưởng nào?

Answer 1

Dưới đây là một giải pháp nếu bạn muốn không cho phép các chuỗi truy vấn:

Disallow: /*?* 

hoặc nếu bạn muốn được chính xác hơn trên chuỗi truy vấn của bạn:

Disallow: /*?dir=*&order=*&p=* 

Bạn cũng có thể thêm vào các robot. txt mà url để cho phép

Allow: /new-printer$ 

$ sẽ đảm bảo chỉ có /new-printer sẽ được cho phép. Thông tin

thêm:

http://code.google.com/web/controlcrawlindex/docs/robots_txt.html

http://sanzon.wordpress.com/2008/04/29/advanced-usage-of-robotstxt-w-querystrings/

Answer 2

Đăng ký trang web của bạn với Google Webmaster Tools. Ở đó bạn có thể cho Google biết cách xử lý các thông số của bạn.

Site Configuration -> URL Thông số

Bạn nên có những trang có chứa những thông số cho thấy rằng họ nên được loại trừ khỏi chỉ mục thông qua thẻ meta robot. ví dụ.

Answer 3

Bạn có thể chặn những thông số chuỗi truy vấn cụ thể với những dòng sau

Disallow: /*?*dir= 
Disallow: /*?*order= 
Disallow: /*?*p= 

Vì vậy, nếu bất kỳ URL chứa dir=, order=, hoặc p=bất cứ nơi nào trong chuỗi truy vấn, nó sẽ bị chặn .