Sử dụng web.config để cấm tác nhân người dùng

Question

Có thể cấm các tác nhân người dùng nhất định trực tiếp từ web.config không? Một số robot dường như không theo dõi robots.txt và tránh tải máy chủ vô nghĩa (và gửi tệp spam), tôi muốn ngăn các lớp yêu cầu nhất định (cụ thể dựa trên tác nhân người dùng hoặc địa chỉ IP rất có thể) từ việc tiếp tục .

Điểm thưởng nếu bạn biết nếu nó tương tự như vậy có thể để ngăn chặn yêu cầu như vậy được đăng nhập vào tệp nhật ký của IIS hoàn toàn. (ví dụ: nếu yêu cầu-phù hợp, chuyển tiếp đến/dev/null, nếu bạn hiểu ý nghĩa của tôi).

Một giải pháp cho win2003 sẽ là thích hợp hơn, nhưng đây là một vấn đề định kỳ - nếu có giải pháp sạch cho IIS7 nhưng không phải IIS6, tôi rất vui khi biết điều đó.

Chỉnh sửa: Rất tiếc 'đã gửi câu hỏi chưa hoàn chỉnh trước đó, tôi đã vô tình nhập tab +.

Answer 1

Điều này có thể được thực hiện khá dễ dàng bằng cách sử dụng mô-đun URLRewrite trong IIS7. Nhưng tôi thực sự không biết nếu điều này sẽ ngăn chặn những yêu cầu được đăng nhập.

<rewrite> 
    <rules> 
    <rule name="Ban user-agent RogueBot" stopProcessing="true"> 
     <match url=".*" /> 
     <conditions> 
     <add input="{HTTP_USER_AGENT}" pattern="RogueBotName" /> 
     <add input="{MyPrivatePages:{REQUEST_URI}}" pattern="(.+)" /> 
     </conditions> 
     <action type="AbortRequest" /> 
    </rule> 
    </rules> 
    <rewriteMaps> 
    <rewriteMap name="MyPrivatePages"> 
     <add key="/PrivatePage1.aspx" value="block" /> 
     <add key="/PrivatePage2.aspx" value="block" /> 
     <add key="/PrivatePage3.aspx" value="block" /> 
    </rewriteMap> 
    </rewriteMaps> 
</rewrite> 

Answer 2

Đừng nghĩ rằng bạn có thể làm điều này từ web.config (ủy quyền trong web.config là dành cho người dùng, không phải là bot). Đặt cược tốt nhất của bạn sẽ là một số loại bộ lọc ISAPI tùy chỉnh cho bản thân IIS. Có một số blog about this here. Chúc may mắn!

Answer 3

Bạn có thể viết ASP.Net HttpModule tùy chỉnh như tôi đã làm cho trang web của mình cấm một số chương trình giả mạo. Đây là mã:

public class UserAgentBasedRedirecter : IHttpModule 
{ 
    private static readonly Regex _bannedUserAgentsRegex = null; 
    private static readonly string _bannedAgentsRedirectUrl = null; 

    static UserAgentBasedRedirecter() 
    { 
      _bannedAgentsRedirectUrl = ConfigurationManager.AppSettings["UserAgentBasedRedirecter.RedirectUrl"]; 
      if (String.IsNullOrEmpty(_bannedAgentsRedirectUrl)) 
       _bannedAgentsRedirectUrl = "~/Does/Not/Exist.html"; 

      string regex = ConfigurationManager.AppSettings["UserAgentBasedRedirecter.UserAgentsRegex"]; 
      if (!String.IsNullOrEmpty(regex)) 
       _bannedUserAgentsRegex = new Regex(regex, RegexOptions.IgnoreCase | RegexOptions.Compiled); 
    } 

    #region Implementation of IHttpModule 

    public void Init(HttpApplication context) 
    { 
      context.PreRequestHandlerExecute += RedirectMatchedUserAgents; 
    } 

    private static void RedirectMatchedUserAgents(object sender, System.EventArgs e) 
    { 
      HttpApplication app = sender as HttpApplication; 

      if (_bannedUserAgentsRegex != null && 
       app != null && app.Request != null && !String.IsNullOrEmpty(app.Request.UserAgent)) 
      { 
       if (_bannedUserAgentsRegex.Match(app.Request.UserAgent).Success) 
       { 
        app.Response.Redirect(_bannedAgentsRedirectUrl); 
       } 
      } 
    } 

    public void Dispose() 
    { } 

    #endregion 
} 

Bạn cần đăng ký nó trong web.config và chỉ định biểu thức chính quy để sử dụng để khớp với chuỗi tác nhân người dùng. Đây là một trong những tôi đã sử dụng để cấm lưu lượng truy cập msnbot/1.1:

<configuration> 
    <appSettings> 
     <add key="UserAgentBasedRedirecter.UserAgentsRegex" value="^msnbot/1.1" /> 
    </appSettings> 
... 
    <system.web> 
     <httpModules> 
      <add name="UserAgentBasedRedirecter" type="Andies.Web.Traffic.UserAgentBasedRedirecter, Andies.Web" /> 
     </httpModules> 
    </system.web> 
</configuration>