Tôi có thể ngăn công cụ tìm kiếm lập chỉ mục toàn bộ thư mục trên trang web của mình không?

Question

Tôi có trang web dàn dựng mà tôi sử dụng để soạn thảo các tính năng, thay đổi và nội dung mới cho trang web thực tế của mình.

Tôi không muốn điều này được lập chỉ mục, nhưng tôi hy vọng cho một giải pháp một chút dễ dàng hơn vì phải thêm bên dưới để mỗi trang trên trang web của tôi:

<meta name="robots" content="noindex, nofollow"> 

Tôi có thể làm điều này trong một cách tương tự như cách tôi thêm mật khẩu vào miền bằng cách sử dụng tệp .htaccess?

Answer 1

Các robots.txt standard có nghĩa là cho việc này. Ví dụ

User-agent: * 
Disallow: /protected-directory/ 

Công cụ tìm kiếm sẽ vâng lời này, nhưng tất nhiên nội dung sẽ vẫn được công bố (và có lẽ dễ dàng được phát hiện hơn nếu bạn đặt URL trong robots.txt), do đó bảo vệ mật khẩu qua tin .htaccess là một lựa chọn , quá.

Answer 2

Những gì bạn muốn là một robots.txt file

Các tập tin phải ở trong thư mục gốc máy chủ của bạn và các nội dung cần được điều gì đó tương tự;

User-agent: * 
Disallow: /mybetasite/ 

Điều này sẽ lịch sự yêu cầu dịch vụ lập chỉ mục tìm kiếm không lập chỉ mục các trang trong thư mục đó, tất cả các công cụ tìm kiếm có hành vi tốt sẽ tôn trọng.

Answer 3

Tạo tệp có tên Robots.txt trong thư mục public_html của bạn.

Đặt đoạn mã sau vào nó:

User-agent: * 
    Disallow: /foldername/ 

tên thư mục là tên của thư mục bạn muốn chặn

Answer 4

Đặt sau mã trong robot.txt mà phải ở trong thư mục gốc từ chối toàn bộ của bạn trang web từ lập chỉ mục.

User-agent: * 
Disallow:/

Answer 5

Chặn tệp cụ thể cho SEO: Để chỉ định khớp với phần cuối của URL, hãy sử dụng $. Ví dụ: để chặn bất kỳ URL kết thúc bằng .xls:

User-agent: * Disallow : /*.xls$

Ref: http://antezeta.com/news/avoid-search-engine-indexing

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449&topic=1724262&ctx=topic

Answer 6

Thật vậy, robots.txt tại trang gốc là con đường để đi. Để thêm nhiều mục (như OP gợi ý), làm như sau:

User-agent: * 
Disallow: /test_directory_aaa/ 
Disallow: /test_directory_bbb/ 
Disallow: /test_directory_ccc/ 

---

Hoặc, để có những .htpasswd tuyến đường:

Trong .htaccess, thêm:

AuthType Basic 
AuthName "Marty's test directory" 
AuthUserFile /test_directory_aaa/.htpasswd 
AuthUserFile /test_directory_bbb/.htpasswd 
AuthUserFile /test_directory_ccc/.htpasswd 
require valid-user 

In.htpasswd, thêm:

username1:s0M3md5H4sh1 
username2:s0M3md5H4sh2 
username3:s0M3md5H4sh3