8
Giả sử, tôi có trang động tạo ra URL's từ đầu vào của người dùng. Ví dụ: www.XXXXXXX.com/browse < -------- (Duyệt qua trang)Không cho phép một số thư mục trang nhất định nhưng KHÔNG tự trang đó
Mỗi khi người dùng nhập một số truy vấn, nó sẽ tạo ra nhiều trang hơn. Ví dụ: www.XXXXXXX.com/browse/abcd < -------- (abcd là trang mới)
Bây giờ, tôi muốn Google làm bò này "duyệt" trang nhưng không phải là phụ trang được tạo ra bởi nó.
Tôi đang nghĩ đến việc thêm trang này vào trang robots.txt của mình; "Disallow:/browse /"
Đó có phải là điều đúng để làm không? hoặc nó cũng sẽ ngăn không cho Googlebot thu thập dữ liệu trang "duyệt"? Tôi nên làm gì để có được kết quả tối ưu ?
Tôi tin rằng bạn có thể sử dụng các thẻ meta 'không có chỉ mục, không làm theo' trên các trang bên trong của bạn và chỉ sử dụng 'no follow' trên các trang chính của bạn, vì vậy google sẽ không 'đi vào' thêm ... http: //www.robotstxt.org/meta.html –
Những trang con này giống như hàng trăm trang, tôi không ' Tôi nghĩ rằng tôi có thể thêm không theo dõi mọi trang theo cách thủ công:/ –