Làm việc với dữ liệu lớn trong python và gumpy, không đủ ram, làm thế nào để lưu một phần kết quả trên đĩa?

Question

Tôi đang cố triển khai các thuật toán cho dữ liệu 1000 chiều với 200k + datapoints trong python. Tôi muốn sử dụng thư viện gọn gàng, scipy, sklearn, networkx và hữu ích khác. Tôi muốn thực hiện các hoạt động như khoảng cách theo cặp giữa tất cả các điểm và thực hiện phân cụm trên tất cả các điểm. Tôi đã thực hiện các thuật toán làm việc để thực hiện những gì tôi muốn với độ phức tạp hợp lý nhưng khi tôi cố gắng mở rộng chúng cho tất cả dữ liệu của tôi, tôi hết RAM. Tất nhiên tôi làm, tạo ma trận cho khoảng cách cặp đôi trên 200k + dữ liệu mất rất nhiều bộ nhớ.

Ở đây có bắt: Tôi thực sự muốn làm điều này trên các máy tính không hấp dẫn với một lượng thấp của ram.

Có cách nào khả thi cho tôi để làm công việc này mà không có sự hạn chế của ram thấp. Rằng nó sẽ mất một thời gian lâu hơn thực sự không phải là một vấn đề, miễn là thời gian reqs không đi đến vô cùng!

Tôi muốn có thể đặt thuật toán của mình hoạt động và sau đó quay lại một giờ hoặc năm sau và không bị kẹt vì nó hết RAM! Tôi muốn thực hiện điều này trong python, và có thể sử dụng thư viện numpy, scipy, sklearn và networkx. Tôi muốn để có thể tính toán khoảng cách cặp với tất cả các điểm của tôi vv

Đây có phải là khả thi? Và làm thế nào tôi sẽ đi về nó, những gì tôi có thể bắt đầu đọc trên?

Trân trọng // Mesmer

Answer 1

Sử dụng numpy.memmap bạn tạo mảng trực tiếp ánh xạ vào một tập tin:

import numpy 
a = numpy.memmap('test.mymemmap', dtype='float32', mode='w+', shape=(200000,1000)) 
# here you will see a 762MB file created in your working directory  

Bạn có thể đối xử với nó như một mảng thông thường: một + = 1000.

Có thể thậm chí để chỉ định nhiều mảng đến cùng một tập tin, kiểm soát nó từ các nguồn lẫn nhau nếu cần thiết. Nhưng tôi đã trải qua một số điều phức tạp ở đây. Để mở mảng đầy đủ, bạn phải "gần" trước đó đầu tiên, sử dụng del:

del a  
b = numpy.memmap('test.mymemmap', dtype='float32', mode='r+', shape=(200000,1000)) 

Nhưng khánh chỉ có một số phần của mảng làm cho nó có thể để đạt được sự kiểm soát đồng thời:

b = numpy.memmap('test.mymemmap', dtype='float32', mode='r+', shape=(2,1000)) 
b[1,5] = 123456. 
print a[1,5] 
#123456.0 

Tuyệt quá! a đã được thay đổi cùng với b. Và những thay đổi đã được ghi trên đĩa.

Điều quan trọng khác đáng để nhận xét là offset. Giả sử bạn muốn đi không phải là 2 dòng đầu tiên trong b, nhưng dòng 150000 và 150001.

b = numpy.memmap('test.mymemmap', dtype='float32', mode='r+', shape=(2,1000), 
       offset=150000*1000*32/8) 
b[1,2] = 999999. 
print a[150001,2] 
#999999.0 

Bây giờ bạn có thể truy cập và cập nhật bất kỳ phần nào của mảng trong hoạt động đồng thời. Lưu ý kích thước byte sẽ tính toán bù trừ. Vì vậy, đối với một 'float64' ví dụ này sẽ là 150000 * 1000 * 64/8.

tài liệu tham khảo khác:

• Is it possible to map a discontiuous data on disk to an array with python?

• numpy.memmap documentation here.

Answer 2

Bạn chỉ có thể đoạn đường nối lên bộ nhớ ảo trên hệ điều hành và sử dụng 64-bit python, cung cấp đó là một 64-bit os.