C# Làm cách nào để kiểm tra xem URL có tồn tại/hợp lệ không?

Question

Tôi đang thực hiện một chương trình đơn giản trong visual C# 2005 tra cứu một biểu tượng cổ phiếu trên Yahoo! Tài chính, tải xuống dữ liệu lịch sử và sau đó vẽ lịch sử giá cho biểu tượng mã được chỉ định.

Tôi biết URL chính xác mà tôi cần để thu thập dữ liệu và nếu người dùng nhập biểu tượng chứng khoán hiện có (hoặc ít nhất một bằng dữ liệu trên Yahoo Finance), nó hoạt động hoàn toàn tốt. Tuy nhiên, tôi có một lỗi thời gian chạy nếu người dùng tạo ra một biểu tượng ticker, khi chương trình cố gắng lấy dữ liệu từ một trang web không tồn tại.

Tôi đang sử dụng lớp WebClient và sử dụng chức năng DownloadString. Tôi đã xem xét tất cả các hàm thành viên khác của lớp WebClient, nhưng không thấy bất cứ điều gì tôi có thể sử dụng để kiểm tra một URL.

Tôi làm cách nào để thực hiện việc này?

Answer 1

Bạn có thể gửi yêu cầu "HEAD" thay vì "GET"?

(chỉnh sửa) - lol! Có vẻ như tôi đã done this before!; thay đổi thành wiki để tránh các cáo buộc về việc tái phạm. Vì vậy, để kiểm tra một URL mà không cần phải tải về các nội dung:

// using MyClient from linked post 
using(var client = new MyClient()) { 
    client.HeadOnly = true; 
    // fine, no content downloaded 
    string s1 = client.DownloadString("http://google.com"); 
    // throws 404 
    string s2 = client.DownloadString("http://google.com/silly"); 
} 

Bạn sẽ try/catch quanh DownloadString để kiểm tra lỗi; không có lỗi? Nó tồn tại ...

---

Với C# 2.0 (VS2005):

private bool headOnly; 
public bool HeadOnly { 
    get {return headOnly;} 
    set {headOnly = value;} 
} 

và

using(WebClient client = new MyClient()) 
{ 
    // code as before 
} 

Answer 2

máy chủ Web đáp ứng với một mã trạng thái HTTP cho thấy kết quả của yêu cầu ví dụ 200 (đôi khi 202) nghĩa là thành công, 404 - không tìm thấy vv (xem here). Giả sử phần địa chỉ máy chủ của URL là chính xác và bạn không nhận được thời gian chờ của ổ cắm, ngoại lệ rất có thể cho bạn biết mã trạng thái HTTP khác với 200. Tôi khuyên bạn nên kiểm tra lớp ngoại lệ và xem liệu ngoại lệ có mang hay không mã trạng thái HTTP.

IIRC - Cuộc gọi được đề cập sẽ phát ra WebException hoặc hậu duệ. Kiểm tra tên lớp để xem tên nào và kết thúc cuộc gọi trong khối thử để bẫy điều kiện.

Answer 3

Nếu tôi hiểu câu hỏi của bạn một cách chính xác, bạn có thể sử dụng một phương pháp nhỏ như thế này để cung cấp cho bạn những kết quả của bài kiểm tra URL của bạn:

WebRequest webRequest = WebRequest.Create(url); 
WebResponse webResponse; 
try 
{ 
    webResponse = webRequest.GetResponse(); 
} 
catch //If exception thrown then couldn't get response from address 
{ 
    return 0; 
} 
return 1; 

Bạn có thể quấn các mã trên trong một phương pháp và sử dụng nó để thực hiện xác thực. Tôi hy vọng điều này sẽ trả lời câu hỏi bạn đang hỏi.

Answer 4

Dưới đây là một việc thực hiện các giải pháp này:

using System.Net; 

/// 
/// Checks the file exists or not. 
/// 
/// The URL of the remote file. 
/// True : If the file exits, False if file not exists 
private bool RemoteFileExists(string url) 
{ 
    try 
    { 
     //Creating the HttpWebRequest 
     HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest; 
     //Setting the Request method HEAD, you can also use GET too. 
     request.Method = "HEAD"; 
     //Getting the Web Response. 
     HttpWebResponse response = request.GetResponse() as HttpWebResponse; 
     //Returns TRUE if the Status code == 200 
     response.Close(); 
     return (response.StatusCode == HttpStatusCode.OK); 
    } 
    catch 
    { 
     //Any exception will returns false. 
     return false; 
    } 
} 

Từ: http://www.dotnetthoughts.net/2009/10/14/how-to-check-remote-file-exists-using-c/

Answer 5

giải pháp này có vẻ dễ dàng để làm theo:

public static bool isValidURL(string url) { 
    WebRequest webRequest = WebRequest.Create(url); 
    WebResponse webResponse; 
    try 
    { 
     webResponse = webRequest.GetResponse(); 
    } 
    catch //If exception thrown then couldn't get response from address 
    { 
     return false ; 
    } 
    return true ; 
} 

Answer 6

Những giải pháp này là khá tốt, nhưng họ quên có thể có các mã trạng thái khác hơn 200 OK.Đây là một giải pháp mà tôi đã sử dụng trên môi trường sản xuất để theo dõi tình trạng và như vậy.

Nếu có chuyển hướng url hoặc một số điều kiện khác trên trang đích, lợi nhuận sẽ là true bằng phương pháp này. Ngoài ra, GetResponse() sẽ ném một ngoại lệ và do đó bạn sẽ không nhận được một StatusCode cho nó. Bạn cần phải bẫy ngoại lệ và kiểm tra một ProtocolError.

Bất kỳ mã trạng thái 400 hoặc 500 nào đều trả về false. Tất cả những người khác trở lại sự thật. Mã này có thể dễ dàng sửa đổi cho phù hợp với nhu cầu của bạn đối với các mã trạng thái cụ thể.

/// <summary> 
/// This method will check a url to see that it does not return server or protocol errors 
/// </summary> 
/// <param name="url">The path to check</param> 
/// <returns></returns> 
public bool UrlIsValid(string url) 
{ 
    try 
    { 
     HttpWebRequest request = HttpWebRequest.Create(url) as HttpWebRequest; 
     request.Timeout = 5000; //set the timeout to 5 seconds to keep the user from waiting too long for the page to load 
     request.Method = "HEAD"; //Get only the header information -- no need to download any content 

     HttpWebResponse response = request.GetResponse() as HttpWebResponse; 

     int statusCode = (int)response.StatusCode; 
     if (statusCode >= 100 && statusCode < 400) //Good requests 
     { 
      return true; 
     } 
     else if (statusCode >= 500 && statusCode <= 510) //Server Errors 
     { 
      log.Warn(String.Format("The remote server has thrown an internal error. Url is not valid: {0}", url)); 
      return false; 
     } 
    } 
    catch (WebException ex) 
    { 
     if (ex.Status == WebExceptionStatus.ProtocolError) //400 errors 
     { 
      return false; 
     } 
     else 
     { 
      log.Warn(String.Format("Unhandled status [{0}] returned for url: {1}", ex.Status, url), ex); 
     } 
    } 
    catch (Exception ex) 
    { 
     log.Error(String.Format("Could not test url {0}.", url), ex); 
    } 
    return false; 
} 

Answer 7

tôi có cách đơn giản hơn để xác định thời tiết url hợp lệ.

if (Uri.IsWellFormedUriString(uriString, UriKind.RelativeOrAbsolute)) 
{ 
    //... 
} 

Answer 8

Dưới đây là một tùy chọn

public static bool UrlIsValid(string url) 
{ 
    bool br = false; 
    try { 
     IPHostEntry ipHost = Dns.Resolve(url); 
     br = true; 
    } 
    catch (SocketException se) { 
     br = false; 
    } 
    return br; 
} 

Answer 9

Tiếp theo từ các ví dụ đã đưa ra, tôi muốn nói, đó là thực hành tốt nhất cũng để bọc các phản ứng trong một sử dụng như thế này

public bool IsValidUrl(string url) 
    { 
     try 
     { 
      var request = WebRequest.Create(url); 
      request.Timeout = 5000; 
      request.Method = "HEAD"; 

      using (var response = (HttpWebResponse)request.GetResponse()) 
      { 
       response.Close(); 
       return response.StatusCode == HttpStatusCode.OK; 
      } 
     } 
     catch (Exception exception) 
     { 
      return false; 
     } 
    } 

Answer 10

Hãy thử điều này (Hãy chắc chắn rằng bạn sử dụng System.Net):

public bool checkWebsite(string URL) { 
    try { 
     WebClient wc = new WebClient(); 
     string HTMLSource = wc.DownloadString(URL); 
     return true; 
    } 
    catch (Exception) { 
     return false; 
    } 
} 

Khi chức năng checkWebsite() được gọi, nó sẽ cố lấy mã nguồn của URL được truyền vào nó. Nếu nó nhận được mã nguồn, nó trả về true. Nếu không, sẽ trả về false.

Mã số Ví dụ:

//The checkWebsite command will return true: 
bool websiteExists = this.checkWebsite("https://www.google.com"); 

//The checkWebsite command will return false: 
bool websiteExists = this.checkWebsite("https://www.thisisnotarealwebsite.com/fakepage.html");