Tôi hiện đang có một dự án đang chạy trên PiCloud có liên quan đến nhiều lần lặp của Bộ giải mã ODE. Mỗi phép lặp tạo ra một mảng NumPy gồm khoảng 30 hàng và 1500 cột, với mỗi lần lặp được nối vào cuối của mảng của các kết quả trước đó.Cách hiệu quả để viết một mảng NumPy lớn vào một tệp
Thông thường, tôi chỉ để những mảng khá lớn này được hàm trả về, giữ chúng trong bộ nhớ và xử lý tất cả chúng cùng một lúc. Ngoại trừ PiCloud có giới hạn khá hạn chế về kích thước của dữ liệu có thể được ra ngoài do hàm trả về, để giảm chi phí truyền tải. Đó là tốt, ngoại trừ điều đó có nghĩa là tôi sẽ phải khởi động hàng ngàn công việc, mỗi công việc đang chạy trên lặp lại, với chi phí đáng kể.
Có vẻ như giải pháp tốt nhất cho việc này là ghi đầu ra vào một tệp và sau đó thu thập tệp bằng cách sử dụng chức năng khác mà chúng có mà không có giới hạn chuyển.
Đặt cược tốt nhất của tôi để làm điều này chỉ cần bán nó vào một tệp CSV? Tôi có nên thêm vào tệp CSV mỗi lần lặp hay giữ tất cả trong một mảng cho đến khi kết thúc và sau đó chỉ cần viết một lần? Có một cái gì đó khủng khiếp thông minh tôi đang mất tích?
Có thực sự không phải là một lý do để chúng có thể đọc được con người - chỉ được sử dụng để sử dụng tệp CSV để di chuyển xung quanh tập dữ liệu, nơi độ chính xác thực sự không phải là yếu tố (hầu hết mọi thứ đều là số nguyên). Điều này có vẻ là về những gì tôi đang tìm kiếm. – Fomite