Đang tải ma trận thưa thớt Matlab được lưu với -7.3 (HDF5) vào Python và thao tác trên nó

Question

Tôi mới dùng python, đến từ MATLAB. Tôi có một ma trận thưa thớt lớn được lưu ở định dạng MATLAB v7.3 (HDF5). Tôi đã tìm thấy hai cách tải trong tệp bằng cách sử dụng h5py và tables. Tuy nhiên hoạt động trên ma trận có vẻ rất chậm sau đó. Ví dụ, trong matlab:

>> whos  
    Name   Size     Bytes Class  Attributes 

    M  11337x133338   77124408 double sparse  

>> tic, sum(M(:)); toc 
Elapsed time is 0.086233 seconds. 

Sử dụng bảng:

t = time.time() 
sum(f.root.M.data) 
elapsed = time.time() - t 
print elapsed 
35.929461956 

Sử dụng h5py:

t = time.time() 
sum(f["M"]["data"]) 
elapsed = time.time() - t 
print elapsed 

(Tôi đã bỏ chờ đợi ...)

[EDIT]

Dựa trên nhận xét từ @bpgergo, tôi nên thêm rằng tôi đã cố gắng chuyển đổi kết quả nạp bằng h5py (f) vào một mảng numpy hoặc một mảng thưa thớt scipy trong hai cách sau:

from scipy import sparse 
A = sparse.csc_matrix((f["M"]["data"], f["M"]["ir"], f["tfidf"]["jc"])) 

hoặc

data = numpy.asarray(f["M"]["data"]) 
ir = numpy.asarray(f["M"]["ir"]) 
jc = numpy.asarray(f["M"]["jc"])  
    A = sparse.coo_matrix(data, (ir, jc)) 

nhưng cả hai hoạt động này đều rất chậm.

Có điều gì tôi thiếu ở đây không?

Answer 1

Hầu hết các vấn đề của bạn là bạn đang sử dụng python sum vào những gì có hiệu quả một mảng bộ nhớ ánh xạ (tức là nó trên đĩa, không có trong bộ nhớ).

Trước hết, bạn so sánh thời gian cần để đọc mọi thứ từ đĩa vào thời gian cần để đọc mọi thứ trong bộ nhớ. Load mảng vào bộ nhớ đầu tiên, nếu bạn muốn so sánh với những gì bạn đang làm trong MATLAB.

Thứ hai, nội dung của python sum rất không hiệu quả đối với mảng có nhiều mảng. (Hoặc, thay vào đó, lặp qua tất cả các mục của một mảng numpy độc lập là rất chậm, đó là những gì python's builtin sum đang làm.) Sử dụng numpy.sum(yourarray) hoặc yourarray.sum() thay cho mảng numpy.

Như một ví dụ:

(. Sử dụng h5py, bởi vì tôi là quen thuộc hơn với nó)

import h5py 
import numpy as np 

f = h5py.File('yourfile.hdf', 'r') 
dataset = f['/M/data'] 

# Load the entire array into memory, like you're doing for matlab... 
data = np.empty(dataset.shape, dataset.dtype) 
dataset.read_direct(data) 

print data.sum() #Or alternately, "np.sum(data)" 

Answer 2

Bạn đang thiếu NumPy http://www.scipy.org/NumPy_for_Matlab_Users

Answer 3

Câu trả lời chính thức cho hậu thế:

import tables, warnings 
from scipy import sparse 

def load_sparse_matrix(fname) : 
    warnings.simplefilter("ignore", UserWarning) 
    f = tables.openFile(fname) 
    M = sparse.csc_matrix((f.root.M.data[...], f.root.M.ir[...], f.root.M.jc[...])) 
    f.close() 
    return M