Làm cách nào để tôi có thể xóa các trang có nội dung động bằng cách sử dụng node.js?

Question

Tôi đang cố gắng để cạo một website nhưng tôi không nhận được một số yếu tố, bởi vì các yếu tố này được tạo động.

Tôi sử dụng cổ vũ trong node.js và Mã của tôi ở bên dưới.

var request = require('request'); 
var cheerio = require('cheerio'); 
var url = "http://www.bdtong.co.kr/index.php?c_category=C02"; 

request(url, function (err, res, html) { 
    var $ = cheerio.load(html); 
    $('.listMain > li').each(function() { 
     console.log($(this).find('a').attr('href')); 
    }); 
}); 

Mã này trả về phản hồi trống, vì khi trang được tải, <ul id="store_list" class="listMain"> bị trống.

Nội dung chưa được thêm vào.

Làm cách nào để có được các phần tử này bằng cách sử dụng node.js? Làm thế nào tôi có thể cạo trang bằng nội dung động?

Answer 1

Ở đây bạn đi;

var phantom = require('phantom'); 

phantom.create(function (ph) { 
    ph.createPage(function (page) { 
    var url = "http://www.bdtong.co.kr/index.php?c_category=C02"; 
    page.open(url, function() { 
     page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() { 
     page.evaluate(function() { 
      $('.listMain > li').each(function() { 
      console.log($(this).find('a').attr('href')); 
      }); 
     }, function(){ 
      ph.exit() 
     }); 
     }); 
    }); 
    }); 
}); 

Answer 2

Sử dụng các module NPM mới x-ray, với một trình điều khiển web pluggable x-ray-phantom.

Ví dụ trong các trang trên, nhưng đây là cách thực hiện nạo động:

var phantom = require('x-ray-phantom'); 
var Xray = require('x-ray'); 

var x = Xray() 
    .driver(phantom()); 

x('http://google.com', 'title')(function(err, str) { 
    if (err) return done(err); 
    assert.equal('Google', str); 
    done(); 
}) 

Answer 3

Check-out GoogleChrome/puppeteer

Headless Chrome Node API

Nó làm cho cào khá tầm thường. Ví dụ sau sẽ cạo tiêu đề qua tại npmjs.com (giả sử .npm-expansions cốt)

const puppeteer = require('puppeteer'); 

(async() => { 
    const browser = await puppeteer.launch(); 
    const page = await browser.newPage(); 

    await page.goto('https://www.npmjs.com/'); 

    const textContent = await page.evaluate(() => { 
    return document.querySelector('.npm-expansions').textContent 
    }); 

    console.log(textContent); /* No Problem Mate */ 

    browser.close(); 
})(); 

evaluate sẽ cho phép kiểm tra các yếu tố năng động như thế này sẽ chạy script trên trang.