5
Tôi muốn viết trình thu thập dữ liệu web của riêng mình trong JS. Tôi đang nghĩ đến việc sử dụng giải pháp node.js chẳng hạn như https://www.npmjs.com/package/js-crawlerLàm cách nào để duy trì trình thu thập dữ liệu web?
Mục tiêu là có "thu thập dữ liệu" cứ 10 phút một lần - cứ 10 phút một lần tôi muốn trình thu thập thông tin của tôi tìm nạp dữ liệu từ một trang web.
Tôi hiểu rằng tôi có thể viết một vòng lặp vô hạn như:
var keeRunning = true;
while (keepRunning) {
// fetch data and process it every 10 minutes
}
Điều này có thể sẽ làm việc hoàn toàn tốt đẹp nếu tôi có máy tính của tôi trên tất cả các thời gian và tôi trên trang web.
Tuy nhiên, nếu tắt máy tính, tôi có thể hình dung rằng nó sẽ không hoạt động nữa. Vì vậy, loại giải pháp tôi nên xem xét để giữ cho một kịch bản chạy tất cả các thời gian, ngay cả khi máy tính bị tắt?
Sử dụng một máy chủ web có lẽ? –
Bạn nên xem xét việc tạo một dịch vụ được quản lý bởi hệ điều hành của bạn – meskobalazs
@Tasos K. cách thức hoạt động? Nếu tôi viết một trang có vòng lặp while, thì nó chỉ chạy khi tôi truy cập trang. Làm thế nào nó có thể chạy ngay cả khi tôi không ở trên nó? – JohnAndrews