Cắt dữ liệu được tạo động bởi JavaScript trong tài liệu html bằng C#

Question

Làm cách nào để tôi có thể xóa dữ liệu được tạo động bằng JavaScript trong tài liệu html bằng C#?

Sử dụng WebRequest và HttpWebResponse trong thư viện C#, tôi có thể nhận được toàn bộ mã nguồn html dưới dạng chuỗi, nhưng khó khăn là dữ liệu tôi muốn không được chứa trong mã nguồn; dữ liệu được tạo động bởi JavaScript.

Mặt khác, nếu dữ liệu tôi muốn đã có trong mã nguồn, thì tôi có thể dễ dàng sử dụng chúng bằng cách sử dụng Cụm từ thông dụng.

Tôi đã tải HtmlAgilityPack, nhưng tôi không biết nếu nó sẽ chăm sóc các trường hợp mục được tạo động bởi JavaScript ...

Cảm ơn bạn rất nhiều!

Answer 1

Khi bạn đặt WebRequest, bạn yêu cầu máy chủ cung cấp cho bạn tệp trang, nội dung của tệp này chưa được phân tích cú pháp/thực thi bởi trình duyệt web và do đó javascript trên đó chưa thực hiện bất kỳ điều gì.

Bạn cần sử dụng công cụ để thực thi JavaScript trên trang nếu bạn muốn xem trang trông như thế nào sau khi được trình duyệt phân tích cú pháp. Một tùy chọn bạn có là sử dụng tính năng kiểm soát trình duyệt web được tích hợp sẵn .net: http://msdn.microsoft.com/en-au/library/aa752040(v=vs.85).aspx

Điều khiển trình duyệt web có thể điều hướng đến trang và sau đó bạn có thể truy vấn DOM sẽ bị thay đổi bởi JavaScript trên trang.

EDIT (ví dụ):

Uri uri = new Uri("http://www.somewebsite.com/somepage.htm"); 

webBrowserControl.AllowNavigation = true; 
// optional but I use this because it stops javascript errors breaking your scraper 
webBrowserControl.ScriptErrorsSuppressed = true; 
// you want to start scraping after the document is finished loading so do it in the function you pass to this handler 
webBrowserControl.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(webBrowserControl_DocumentCompleted); 
webBrowserControl.Navigate(uri); 

---

private void webBrowserControl_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e) 
{ 
    HtmlElementCollection divs = webBrowserControl.Document.GetElementsByTagName("div"); 

    foreach (HtmlElement div in divs) 
    { 
     //do something 
    } 
} 

Answer 2

Bạn có thể có một cái nhìn tại một công cụ như Selenium cho cào các trang trong đó có Javascript.

http://www.andykelk.net/tech/headless-browser-testing-with-phantomjs-selenium-webdriver-c-nunit-and-mono