Sử dụng pytables, hiệu quả hơn: ma trận scipy.sparse hoặc dày đặc dày đặc?

Question

Khi sử dụng pytables, không có hỗ trợ (theo như tôi có thể biết) cho các định dạng ma trận scipy.sparse, do đó, để lưu trữ ma trận, tôi phải thực hiện một số chuyển đổi, ví dụ:

def store_sparse_matrix(self): 
    grp1 = self.getFileHandle().createGroup(self.getGroup(), 'M') 
    self.getFileHandle().createArray(grp1, 'data', M.tocsr().data) 
    self.getFileHandle().createArray(grp1, 'indptr', M.tocsr().indptr) 
    self.getFileHandle().createArray(grp1, 'indices', M.tocsr().indices) 

def get_sparse_matrix(self): 
    return sparse.csr_matrix((self.getGroup().M.data, self.getGroup().M.indices, self.getGroup().M.indptr)) 

Vấn đề là các get_sparse chức năng phải mất một thời gian (đọc từ đĩa), và nếu tôi hiểu nó một cách chính xác cũng đòi hỏi dữ liệu để phù hợp với bộ nhớ.

Tùy chọn duy nhất khác dường như chuyển đổi ma trận thành định dạng dày đặc (numpy array) và sau đó sử dụng pytables bình thường. Tuy nhiên điều này có vẻ là không hiệu quả, mặc dù tôi cho rằng có lẽ pytables sẽ đối phó với bản thân nén?

Answer 1

Vay từ Storing numpy sparse matrix in HDF5 (PyTables), bạn có thể sắp xếp một mảng scipy.sparse sang một định dạng pytables sử dụng của nó data, indicies, và indptr thuộc tính, đó là ba thường xuyên numpy.ndarray đối tượng.