Cách định cấu hình tệp robots.txt để chặn tất cả trừ 2 thư mục

Question

Tôi không muốn bất kỳ công cụ tìm kiếm tìm kiếm nào lập chỉ mục hầu hết trang web của tôi.

Tuy nhiên, tôi muốn công cụ tìm kiếm lập chỉ mục 2 thư mục (và con cái của chúng). Đây là những gì tôi thiết lập, nhưng tôi không nghĩ rằng nó hoạt động, tôi thấy các trang trong Google mà tôi muốn giấu:

Dưới đây là robots.txt của tôi

User-agent: * 
Allow: /archive/ 
Allow: /lsic/ 
User-agent: * 
Disallow:/

cách chính xác để không cho phép tất cả là gì thư mục, ngoại trừ 2?

Answer 1

Tôi đã đưa ra một hướng dẫn về điều này trên diễn đàn này here. Và trong Wikipedia here

Về cơ bản các robots.txt mẫu phù hợp đầu tiên luôn luôn thắng:

User-agent: * 
Allow: /archive/ 
Allow: /lsic/ 
Disallow:/

Nhưng tôi nghi ngờ nó có thể là quá muộn. Một khi trang được lập chỉ mục, thật khó để loại bỏ nó. Cách duy nhất là chuyển nó sang một thư mục khác hoặc chỉ mật khẩu bảo vệ thư mục. Bạn sẽ có thể làm điều đó trong máy chủ của bạn CPanel.