Làm thế nào để đọc các tệp tar.gz rất lớn (> 1GB) trong Node.js?

Question

Tôi chưa bao giờ phải làm điều này trước đây vì vậy đây có thể là một cái gì đó thực sự cơ bản, nhưng tôi nghĩ rằng tôi sẽ hỏi anyways.

Cách thích hợp để đọc tệp rất lớn trong Node.js là gì? Giả sử tệp quá lớn để đọc tất cả cùng một lúc. Ngoài ra, hãy cho biết tệp có thể ở định dạng .zip hoặc .tar.gz.

Câu hỏi đầu tiên, tốt nhất là giải nén tệp trước và lưu tệp vào đĩa (Tôi đang sử dụng Stuffit trên Mac để thực hiện việc này ngay bây giờ), sau đó làm việc với tệp đó? Hoặc bạn có thể đọc luồng IO trực tiếp từ phiên bản .zip hoặc .tar.gz được nén không? Tôi đoán bạn cần biết định dạng của nội dung trong tệp nén, vì vậy bạn có thể phải giải nén (chỉ cần tìm ra tệp này .tar.gz thực sự là tệp .dat) ...

Sau đó, vấn đề chính là, làm cách nào để đọc tệp lớn này trong Node.js? Giả sử đó là tệp XML 1GB, tôi nên xem xét ở đâu để bắt đầu phân tích cú pháp đó? (Không, làm thế nào để phân tích cú pháp XML, nhưng nếu bạn đang đọc tập tin lớn theo từng dòng, làm thế nào để bạn phân tích cú pháp một cái gì đó như XML cần biết bối cảnh của các dòng trước đó).

Tôi đã xem fs.createReadStream, nhưng tôi e ngại gây rối với nó ... không muốn phát nổ máy tính của tôi. Chỉ cần tìm một số con trỏ đi đúng hướng.

Answer 1

có được xây dựng-in zlib mô-đun cho dòng giải nén và sax cho dòng XML phân tích

var fs = require('fs'); 
var zlib = require('zlib'); 
var sax = require('sax'); 

var saxStream = sax.createStream(); 
// add your xml handlers here 

fs.createReadStream('large.xml.gz').pipe(zlib.createUnzip()).pipe(saxStream); 

Answer 2

Chúng tôi cũng có thể nén một cái gì đó thư mục như sau:

var spawn = require('child_process').spawn; 
var pathToArchive = './very_large_folder.tar.gz'; 
var pathToFolder = './very_large_folder'; 

var tar = spawn('tar', ['czf', pathToArchive, pathToFolder]); 
tar.on('exit', function (code) { 
     if (code === 0) { 
       console.log('completed successfully'); 
     } else { 
       console.log('error'); 
     } 
}); 

này làm việc độc đáo :)