Làm thế nào tôi có thể kiểm soát PhantomJS để bỏ qua tải xuống một số loại tài nguyên?

Question

phantomjs có cấu hình LoadImage,

nhưng tôi muốn nhiều hơn nữa,

làm thế nào tôi có thể kiểm soát phantomjs để bỏ qua tải về một số loại tài nguyên,

như css vv ...

== ===

tin vui: tính năng này được thêm vào.

https://code.google.com/p/phantomjs/issues/detail?id=230

Các ý chính:

page.onResourceRequested = function(requestData, request) { 
    if ((/http:\/\/.+?\.css/gi).test(requestData['url']) || requestData['Content-Type'] == 'text/css') { 
     console.log('The url of the request is matching. Aborting: ' + requestData['url']); 
     request.abort(); 
    } 
}; 

Answer 1

Vì vậy, cuối cùng bạn có thể thử này http://github.com/eugenehp/node-crawler

nếu không bạn vẫn có thể thử phương pháp dưới đây với PhantomJS

Cách dễ dàng, là để trang tải -> trang phân tích cú pháp -> loại trừ tài nguyên không mong muốn -> tải nó vào PhatomJS.

Một cách khác chỉ đơn giản là chặn các máy chủ trong tường lửa.

Tùy chọn, bạn có thể sử dụng proxy để chặn một số địa chỉ URL và truy vấn nhất định.

Và phần bổ sung, tải trang, sau đó xóa các tài nguyên không mong muốn, nhưng tôi nghĩ đó không phải là cách tiếp cận phù hợp tại đây.

Answer 2

Không có cách nào cho bây giờ (phantomjs 1.7), nó KHÔNG hỗ trợ điều đó.

Nhưng một giải pháp khó chịu đang sử dụng proxy http, vì vậy bạn có thể lọc ra một số yêu cầu mà bạn không cần

Answer 3

Sử dụng page.onResourceRequested, như trong ví dụ loadurlwithoutcss.js:

page.onResourceRequested = function(requestData, request) { 
    if ((/http:\/\/.+?\.css/gi).test(requestData['url']) || 
      requestData.headers['Content-Type'] == 'text/css') { 
     console.log('The url of the request is matching. Aborting: ' + requestData['url']); 
     request.abort(); 
    } 
}; 

Answer 4

CẬP NHẬT, công tác !

Vì PhantomJS 1.9, câu trả lời hiện tại không hoạt động. Bạn phải sử dụng mã này:

var webPage = require('webpage'); 
var page = webPage.create(); 

page.onResourceRequested = function(requestData, networkRequest) { 
    var match = requestData.url.match(/wordfamily.js/g); 
    if (match != null) { 
    console.log('Request (#' + requestData.id + '): ' + JSON.stringify(requestData)); 
    networkRequest.cancel(); // or .abort() 
    } 
}; 

Nếu bạn sử dụng hủy bỏ() thay vì hủy(), nó sẽ kích hoạt onResourceError.

Bạn có thể look at the PhantomJS docs