Cách tốt nhất để phân tích cú pháp tệp JSON khổng lồ trong ruby ​​

Question

Tôi đang gặp khó khăn khi phân tích cú pháp tệp json lớn.

Tệp là> 1GB và tôi đã thử sử dụng hai loại đá quý: ruby-stream và yajl, cả hai đều không hoạt động.

Dưới đây là ví dụ về những gì sẽ xảy ra.

fileStr = File.read("hugeJSONfile.json") 

^Phần này là OK.

Nhưng khi tôi cố gắng tải tệpStr vào một băm JSON (thông qua ruby-stream hoặc yajl), máy tính của tôi bị đóng băng.

Bất kỳ ý tưởng nào khác về cách thực hiện điều này hiệu quả hơn? Cảm ơn bạn.

Answer 1

Hãy xem vào json-stream hay yajl:

quote chính từ các tài liệu:

json-stream:

tài liệu riêng của mình là không bao giờ đọc hoàn toàn vào bộ nhớ.

yajl:

Lợi ích chính của thư viện này là sử dụng bộ nhớ của nó. Vì nó có thể phân tích luồng theo các khối, yêu cầu bộ nhớ của nó rất, rất thấp.

Bạn đăng ký sự kiện bạn đang tìm kiếm và trả về khóa/giá trị trong khi đọc qua JSON thay vì tải tất cả vào cấu trúc dữ liệu ruby ​​(và do đó vào bộ nhớ).

Answer 2

OK, tôi đã có thể phân tích cú pháp.

Thành thật mà nói, đây không phải là giải pháp thanh lịch nhất, nhưng với một thời gian tuyệt vọng, một cách nhanh chóng để phân tích cú pháp tệp JSON là kiểm tra tệp theo cách thủ công, chú ý một mẫu và lấy ra những gì bạn cần.

Trong trường hợp của tôi, đây là những gì tôi đã làm trong mã giả

fileStr = File.read("hugeJSONfile.json") 
arr = fileStr.split("[some pattern]") 
arr.each do |str| 
    extract desired value from str 
end 

Một lần nữa, không phải là giải pháp thanh lịch nhất, nhưng nó bảo trì thấp, và tùy thuộc vào hoàn cảnh nhất định, chỉ thích ứng với những gì máy tính xách tay không hấp dẫn của bạn có thể muster.