Từ chối chương trình để tải xuống các tệp của tôi

Question

Tôi có trang tải xuống asp.net gửi tệp cho khách hàng nhưng tôi muốn từ chối rô bốt tải xuống tệp này vì tệp lớn và tôi có thể thấy từ bản ghi bot tải xuống tệp này khoảng 20 lần. Điều này làm chậm máy chủ và gây ra mức tiêu thụ băng thông.

Tôi đã mã hóa trang này để đếm số lượt tải xuống và phát hiện khuôn khổ mạng của ứng dụng khách để tôi có thể đăng tệp thiết lập có chứa khung .net hay không.

Tôi cần bằng cách nào đó để từ chối Google và các bot khác để truy cập trang này.

liên kết tải về của tôi là như download.aspx? Gói = MSP

Answer 1

Vâng, thêm một file robots.txt để trang web của bạn. Nó nên chứa một danh sách các quy tắc (gợi ý thực sự) làm thế nào nhện nên hành xử.

Khám phá this bài viết để biết thêm thông tin. Ngoài ra đối với các cú đá, this là tệp robots.txt được Google sử dụng.

Answer 2

Bạn muốn có một robots.txt file. Ví dụ:

User-agent: * 
Disallow: /download.aspx 

này không buộc phải chặn công cụ tìm kiếm, nhưng hầu hết (kể cả Google) sẽ kiểm tra cho một tập tin robots.txt và làm theo hướng dẫn của nó

Answer 3

Câu trả lời đúng, như được ghi nhận bởi hai người khác, là tạo tệp robots.txt để tạo hành vi tốt rô bốt không tải xuống.

Tuy nhiên, điều quan trọng là phải biết rằng không phải tất cả rô bốt đều hoạt động tốt và robots.txt chỉ là tư vấn. Nếu bạn có các trang không được liên kết công khai, không liệt kê chúng trong robots.txt để "bảo vệ" chúng vì một số rô bốt đặc biệt bị quét thực sự quét tệp để xem URL thú vị nào có thể mà chúng chưa biết về .

Answer 4

Thay cho tệp robots.txt, ở đó bạn không thể trang trí các trang của mình bằng thẻ <meta name="robots" content="noindex">.

• Một lần nữa, như Chân Tử đã đề cập, đây là chỉ là một đề nghị cho chương trình và không có yêu cầu làm theo nó.

• Thực hiện một phương pháp CAPTCHA rằng cung cấp một cơ chế đăng nhập để cho phép người dùng mong muốn truy cập vào một bảo vệ thư mục mà bạn giữ file lớn nhất của bạn.

• Thay vì cung cấp liên kết trực tiếp đến nội dung được dễ dàng phân tách bởi bots, sử dụng Javascript trên link download của mình để chuyển hướng người dùng của bạn. Nhiều bot sẽ không thực thi javascript, mặc dù bot obfuscation là thường là mục tiêu di động.