Đọc file json khá lớn trong Python

Question

thể trùng lặp:
Is there a memory efficient and fast way to load big json files in python?

Vì vậy, tôi có một số json mã hóa file khá lớn. Nhỏ nhất là 300MB, nhưng đây là nhỏ nhất. Phần còn lại là nhiều GB, bất cứ nơi nào từ khoảng 2GB đến 10GB +.

Vì vậy, tôi dường như hết bộ nhớ khi cố tải tệp bằng Python. Tôi hiện đang chỉ chạy một số thử nghiệm để xem khoảng thời gian giao dịch với công cụ này sẽ mất để xem nơi để đi từ đây. Đây là mã tôi đang sử dụng để kiểm tra:

from datetime import datetime 
import json 

print datetime.now() 

f = open('file.json', 'r') 
json.load(f) 
f.close() 

print datetime.now() 

Không quá ngạc nhiên, Python cho tôi một lỗi MemoryError. Có vẻ như json.load() gọi json.loads (f.read()), mà đang cố gắng đổ toàn bộ tập tin vào bộ nhớ trước, điều này rõ ràng sẽ không hoạt động.

Bất kỳ cách nào tôi có thể giải quyết vấn đề này một cách rõ ràng?

Tôi biết điều này là cũ, nhưng tôi không nghĩ rằng đây là bản sao. Trong khi câu trả lời là như nhau, câu hỏi là khác nhau. Trong "trùng lặp", câu hỏi là làm thế nào để đọc các tệp lớn một cách hiệu quả, trong khi câu hỏi này đề cập đến các tệp thậm chí không phù hợp với bộ nhớ. Hiệu quả là không cần thiết.

Answer 1

Tùy chọn tốt nhất dường như đang sử dụng thứ gì đó như ijson - một mô-đun sẽ hoạt động với JSON dưới dạng luồng chứ không phải dưới dạng tệp khối.

Chỉnh sửa: Cũng đáng xem - kashif's comment về .