Chặn bingbot thu thập dữ liệu trang web của tôi

Question

Tôi muốn chặn hoàn toàn việc bing thu thập dữ liệu trang web của tôi (trang web tấn công trang web của tôi với tốc độ đáng báo động (500GB dữ liệu một tháng). công cụ bing webmaster vì vậy tôi không thể đi và thiết lập tốc độ trườn mỗi một. tôi đã cố gắng ngăn chặn nó bằng cách sử robots.txt nhưng nó không làm việc đây là robots.txt của tôi

# robots.txt 
User-agent: * 
Disallow: 
Disallow: *.axd 
Disallow: /cgi-bin/ 
Disallow: /member 
Disallow: bingbot 
User-agent: ia_archiver 
Disallow:/

Answer 1

này chắc chắn sẽ ảnh hưởng đến SEO của bạn/xếp hạng tìm kiếm và sẽ khiến các trang bị giảm từ chỉ mục vì vậy hãy sử dụng cẩn thận

Bạn có thể chặn các yêu cầu dựa trên chuỗi user-agent nếu bạn có các mô-đun IIS viết lại cài đặt (nếu không đi here)

Và sau đó thêm một quy tắc để webconfig của bạn như thế này:

<system.webServer> 
    <rules> 
    <rule name="Request Blocking Rule" stopProcessing="true"> 
     <match url=".*" /> 
     <conditions> 
     <add input="{HTTP_USER_AGENT}" pattern="msnbot|BingBot" /> 
     </conditions> 
     <action type="CustomResponse" statusCode="403" statusReason="Forbidden: Access is denied." statusDescription="You do not have permission to view this page." /> 
    </rule> 
    </rules> 
</system.webServer> 

Điều này sẽ trả lại 403 nếu bot truy cập trang web của bạn.

CẬP NHẬT

Nhìn vào robots.txt của bạn tôi nghĩ rằng nó nên là:

# robots.txt 
User-agent: * 
Disallow: 
Disallow: *.axd 
Disallow: /cgi-bin/ 
Disallow: /member 
User-agent: bingbot 
Disallow:/
User-agent: ia_archiver 
Disallow:/

Answer 2

robots.txt của bạn là không đúng:

• Bạn cần ngắt dòng giữa bản ghi (bản ghi bắt đầu bằng một hoặc nhiều dòng User-agent).

• Disallow: bingbot không cho phép thu thập thông tin các URL có đường dẫn bắt đầu bằng "bingbot" (tức là, http://example.com/bingbot), có thể không phải là những gì bạn muốn.

• Không phải là lỗi, nhưng Disallow: là không cần thiết (vì đây là mặc định).

Vì vậy, bạn có thể muốn sử dụng:

User-agent: * 
Disallow: *.axd 
Disallow: /cgi-bin/ 
Disallow: /member 

User-agent: bingbot 
User-agent: ia_archiver 
Disallow:/

này không cho phép crawl của bất cứ điều gì cho "bingbot" và "ia_archiver". Tất cả các bot khác đều được phép thu thập dữ liệu mọi thứ ngoại trừ các URL có đường dẫn bắt đầu bằng /member, /cgi-bin/ hoặc *.axd.

Lưu ý rằng *.axd sẽ được diễn giải theo nghĩa đen theo bot theo thông số robots.txt gốc (vì vậy chúng sẽ không thu thập thông tin http://example.com/*.axd, nhưng chúng sẽ thu thập thông tin http://example.com/foo.axd). Tuy nhiên, nhiều bot mở rộng đặc tả và giải thích * như một loại ký tự đại diện.