5
Tôi đã viết một chương trình Python xử lý dữ liệu rất lớn. Khi nó xử lý dữ liệu, nó sẽ đưa dữ liệu được xử lý vào một mảng, dễ dàng phát triển tới hàng trăm megabyte hoặc thậm chí trên một gigabyte.Làm cách nào để sử dụng Python với cơ sở dữ liệu?
Lý do tôi đặt nó như vậy là do Python cần truy cập liên tục dữ liệu trong mảng. Bởi vì mảng ngày càng lớn, quá trình này dễ bị lỗi và rất chậm.
Có cách nào để có cơ sở dữ liệu giống như mảng được lưu trữ trên một tệp hoặc mô-đun cơ sở dữ liệu khác và truy cập vào cơ sở khi cần thiết không?
Có lẽ đây là một nhiệm vụ rất cơ bản, nhưng tôi không có đầu mối.
Bao lâu thì các bạn truy cập vào dữ liệu này? Là nó truy cập tuyến tính? Truy cập ngẫu nhiên? – ubik
Chỉ vì lợi ích, chương trình tiêu thụ bao nhiêu RAM ở mức cao nhất? –
@ubik tuyến tính trong giai đoạn đầu và ngẫu nhiên trong giai đoạn thứ hai. Nó xây dựng một mảng từ phân tích dữ liệu và mảng sẽ lớn hơn khi có nhiều dữ liệu được xử lý, được thực hiện tuyến tính. Sau đó, các giá trị trong mảng được truy cập liên tục và ngẫu nhiên để tính toán các giá trị khác. – ytrewq