Làm cách nào để ẩn một trang web khỏi các công cụ tìm kiếm?

Question

Tôi đang tìm cách ẩn một trang web để nó không hiển thị trong bất kỳ công cụ tìm kiếm nào, chỉ cần tự hỏi làm thế nào tôi sẽ đi về điều này?

Answer 1

Sử dụng một file robots.txt: http://www.google.com/support/webmasters/bin/answer.py?answer=156449

Answer 2

Ngoài mật khẩu bảo vệ trang web của bạn, bạn có thể thêm những dòng này để robots.txt:

User-agent: * 
Disallow:/

Đây không phải ẩn trang web hiện nhưng khá hướng dẫn các chương trình không làm gián điệp nội dung.

Answer 3

Bạn sử dụng tệp robots.txt. Đặt các tập tin trong thư mục gốc của trang web với nội dung này:

User-agent: * 
Disallow:/

Answer 4

Có một cái nhìn tại nofollowWikipedia

Answer 5

Bạn có thể bằng cách nào đó giảm trang web của bạn được liệt kê sử dụng một robots.txt. Lưu ý rằng điều này phụ thuộc vào "thiện chí" của trình thu thập thông tin, mặc dù (một số spambots sẽ xem xét rõ ràng vị trí mà bạn không cho phép).

Cách an toàn và đáng tin cậy nhất để không có trang web được liệt kê, thật đáng buồn là không đưa nó lên internet.

Đơn giản là không liên kết đến trang web của bạn sẽ không hoạt động. Trình thu thập dữ liệu nhận thông tin của họ từ nhiều nguồn, bao gồm các liên kết giới thiệu trình duyệt và công ty đăng ký tên miền. Vì vậy, để được "vô hình", bạn sẽ không phải truy cập vào trang web của bạn và không đăng ký một tên miền (chỉ truy cập nó thông qua địa chỉ IP).
Và sau đó, nếu bạn chạy máy chủ web dựa trên địa chỉ IP, bạn vẫn có tất cả các địa chỉ ngẫu nhiên thăm dò spambots. Nó sẽ mất một lúc, nhưng họ sẽ tìm thấy bạn.

Bảo vệ bằng mật khẩu cho trang web của bạn sẽ hoạt động, làm cho nó không thể truy cập được. Mặc dù (và nó vượt ra ngoài hiểu của tôi như thế nào xảy ra) ví dụ có nghĩa là hàng ngàn giấy tờ ACM được liệt kê trong Google mà bạn không thể nhìn thấy mà không có một tài khoản và đăng nhập. Tuy nhiên, họ đang có.

Answer 6

Bạn cần đọc về tệp robots.txt mà bạn được phép sao chép trong webroot của trang web của bạn - http://www.robotstxt.org/robotstxt.html.

Answer 7

Sử dụng số robots.txt, từ chối tất cả các công cụ tìm kiếm. Họ không tôn trọng tất cả robots.txt để kiểm tra các bản ghi máy chủ của bạn thường xuyên và từ chối từ dãy nghi ngờ robot/crawlers:

http://httpd.apache.org/docs/2.2/howto/access.html

Answer 8

công cụ tìm kiếm thích hợp nhất sử dụng chương trình hay crawlers đến các trang web và chỉ số họ. bạn có thể Robot File method