C# httpwebrequest và javascript

Question

Tôi đang sử dụng C# HttpWebRequest để lấy một số dữ liệu của trang web. Vấn đề là một số dữ liệu được cập nhật bằng cách sử dụng javascript/ajax sau khi trang được tải và tôi không nhận được nó trong chuỗi phản hồi. Có cách nào để yêu cầu webrequest chờ cho đến khi tất cả các tập lệnh trong trang đã hoàn tất việc thực thi không?

Cảm ơn

Amit

Answer 1

Nếu tôi hiểu đúng câu hỏi của bạn, không có giải pháp đơn giản cho vấn đề của bạn.

Bạn đang cào HTML từ máy chủ và vì mã C# của bạn không phải là trình duyệt web thực, nó không thực thi các tập lệnh máy khách.

Bằng cách này bạn không thể truy cập thông tin mà HTML bạn tìm nạp không chứa.

Chỉnh sửa: Tôi không biết các cuộc gọi AJAX phức tạp từ trang web gốc như thế nào, nhưng bạn có thể sử dụng Firebug hoặc Fiddler cho IE để xem các yêu cầu được thực hiện như thế nào để gọi các cuộc gọi AJAX này C# ứng dụng quá. Vì vậy, bạn có thể thêm các mẩu thông tin bạn cần. Nhưng nó chỉ là một giải pháp lý thuyết.

Answer 2

Khi bạn mở một trang web trong trình duyệt web, đó là trình duyệt thực hiện javascript và tải xuống các tài nguyên bổ sung được trang sử dụng (hình ảnh, tập lệnh, v.v.). HttpWebRequest tự nó sẽ không làm bất kỳ điều này, nó sẽ chỉ tải xuống html cho trang bạn yêu cầu. Nó sẽ không bao giờ thực thi bất kỳ mã javascript/ajax nào trên chính nó.

Answer 3

HttpWebRequest không mô phỏng trình duyệt web, nó chỉ tải xuống tài nguyên bạn trỏ vào. Điều này có nghĩa là nó sẽ không thực hiện hoặc thậm chí tải xuống các tệp JavaScript.

Bạn sẽ phải sử dụng một cái gì đó như FireBug để lấy URL cho dữ liệu được lấy qua JavaScript và chỉ ra HttpWebRequest của bạn tại đó.

Answer 4

Chỉ cần một ý tưởng nhưng có một cách để có .net tải một trang web như thể nó là trong một trình duyệt: sử dụng System.Windows.Forms

bạn có thể Tải trang web thành một điều khiển WebBrowser

WebBrowser wb = new WebBrowser(); 
wb.ScrollBarsEnabled = false; 
wb.ScriptErrorsSuppressed = true; 
wb.Navigate(url); 
while (wb.ReadyState != WebBrowserReadyState.Complete) { Application.DoEvents(); } 
wb.Document.DomDocument.ToString() 

Điều này có thể sẽ cung cấp cho bạn DOM trước ajax nhưng có thể có cách để cho phép chạy ajax trước.

Answer 5

Sử dụng HttpWebRequest để tải xuống trang, tìm kiếm chương trình mã nguồn cho thông tin ajax có liên quan và sau đó sử dụng HttpWebRequest mới để kéo dữ liệu đó xuống.

Answer 6

Sử dụng HttpWebRequest để tải xuống trang. Tìm kiếm mã nguồn cho thông tin AJAX có liên quan và sau đó sử dụng HttpWebRequest mới để kéo dữ liệu đó xuống.

Answer 7

Bạn có thể sử dụng số PhantomJs. Tôi đã có số này Issue, nhưng không tìm thấy giải pháp cho vấn đề của tôi. Theo tôi, giải pháp tốt nhất là This.

Giải pháp của tôi là như thế này:

var page = require('webpage').create(); 

page.open("https://sample.com", function(){ 
    page.evaluate(function(){ 
     var i = 0, 
     oJson = jsonData, 
     sKey; 
     localStorage.clear(); 

     for (; sKey = Object.keys(oJson)[i]; i++) { 
      localStorage.setItem(sKey,oJson[sKey]) 
     } 
    }); 

    page.open("https://sample.com", function(){ 
     setTimeout(function(){ 
     page.render("screenshoot.png") 
      // Where you want to save it  
      console.log(page.content); //page source 
      // You can access its content using jQuery 
      var fbcomments = page.evaluate(function(){ 
       return $("body").contents().find(".content") 
      }) 
      phantom.exit(); 
     },10000) 
    });  
});