Chụp phản hồi AJAX với selen và python

Question

Tôi nhấp vào liên kết trong Firefox, trang web sẽ gửi yêu cầu bằng javascript, sau đó máy chủ gửi một số loại phản hồi bao gồm địa chỉ trang web. Vì vậy, trang web mới này sau đó sẽ mở ra trong một cửa sổ mới. Mã html đằng sau liên kết là (Tôi đã bỏ qua ban đầu và cuối cùng <span> tag):

> class="taLnk hvrIE6" 
> onclick="ta.trackEventOnPage('AttractionContactInfo', 'Website', 
> 2316062, 1); ta.util.cookie.setPIDCookie(15190); 
> ta.call('ta.util.link.targetBlank', event, this, 
> {'aHref':'LqMWJQiMnYQQoqnQQxGEcQQoqnQQWJQzZYUWJQpEcYGII26XombQQoqnQQQQoqnqgoqnQQQQoqnQQQQoqnQQQQoqnqgoqnQQQQoqnQQuuuQQoqnQQQQoqnxioqnQQQQoqnQQJMsVCIpEVMSsVEtHJcSQQoqnQQQQoqnxioqnQQQQoqnQQniaQQoqnQQQQoqnqgoqnQQQQoqnQQWJQzhYmkXHJUokUHnmKTnJXB', 
> 'isAsdf':true})">Website 

Tôi muốn nắm bắt được phản ứng máy chủ và trích xuất các 'trang web mới' bằng Python và Selenium. Tôi đã sử dụng BeautifulSoup để cạo và khá mới mẻ với Selenium.

Cho đến giờ, tôi có thể tìm thấy phần tử này và nhấp vào nó bằng selen, mở ra 'trang web mới' trong một cửa sổ mới. Tôi không biết cách nắm bắt phản hồi từ máy chủ.

Answer 1

tôi đã không thể nắm bắt được AJAX phản ứng với selen nhưng đây là những gì hoạt động, mặc dù không selen:

1- Tìm hiểu yêu cầu XML bằng cách giám sát các công cụ phân tích mạng trong trình duyệt của bạn

2 = Khi bạn đã xác định yêu cầu, hãy tạo lại yêu cầu bằng các yêu cầu của Python hoặc các mô-đun urllib2. Cá nhân tôi đề nghị yêu cầu vì các tính năng bổ sung của nó, quan trọng nhất đối với tôi là requests.Session.

Bạn có thể tìm thấy nhiều trợ giúp và bài đăng liên quan về hai bước này.

Hy vọng nó sẽ giúp ai đó một ngày nào đó.

Answer 2

Tôi đã từng chặn một số cuộc gọi ajax đưa javascript vào trang bằng selenium. Mặt xấu của lịch sử là selen đôi khi có thể là, hãy nói "mong manh". Vì vậy, không có lý do gì tôi có ngoại lệ selenium trong khi thực hiện tiêm này.

Dù sao, ý tưởng của tôi đã chặn các cuộc gọi XHR và đặt phản hồi của nó thành phần tử dom mới do tôi tạo ra để tôi có thể thao tác từ selen. Trong điều kiện để đánh chặn thậm chí bạn có thể sử dụng các url mà thực hiện các yêu cầu để chỉ chặn một trong đó bạn thực sự muốn (self._url)

btw, tôi đã có ý tưởng từ intercept all ajax calls?

Có lẽ đây giúp.

browser.execute_script(""" 
(function(XHR) { 
    "use strict"; 

    var element = document.createElement('div'); 
    element.id = "interceptedResponse"; 
    element.appendChild(document.createTextNode("")); 
    document.body.appendChild(element); 

    var open = XHR.prototype.open; 
    var send = XHR.prototype.send; 

    XHR.prototype.open = function(method, url, async, user, pass) { 
    this._url = url; // want to track the url requested 
    open.call(this, method, url, async, user, pass); 
    }; 

    XHR.prototype.send = function(data) { 
    var self = this; 
    var oldOnReadyStateChange; 
    var url = this._url; 

    function onReadyStateChange() { 
     if(self.status === 200 && self.readyState == 4 /* complete */) { 
     document.getElementById("interceptedResponse").innerHTML += 
      '{"data":' + self.responseText + '}*****'; 
     } 
     if(oldOnReadyStateChange) { 
     oldOnReadyStateChange(); 
     } 
    } 

    if(this.addEventListener) { 
     this.addEventListener("readystatechange", onReadyStateChange, 
     false); 
    } else { 
     oldOnReadyStateChange = this.onreadystatechange; 
     this.onreadystatechange = onReadyStateChange; 
    } 
    send.call(this, data); 
    } 
})(XMLHttpRequest); 
""")