Có cách nào hiệu quả để ghép các ma trận scipy.sparse không?

Question

Tôi đang làm việc với một số ma trận thưa thớt khá lớn (từ 5000x5000 đến 20000x20000) và cần tìm một cách hiệu quả để nối ma trận một cách linh hoạt để xây dựng ma trận ngẫu nhiên từ các phần riêng biệt.

Ngay bây giờ tôi đang sử dụng cách sau đây để nối bốn ma trận, nhưng nó không hiệu quả khủng khiếp. Có cách nào tốt hơn để làm điều này mà không liên quan đến việc chuyển đổi thành một ma trận dày đặc?

rmat[0:m1.shape[0],0:m1.shape[1]] = m1 
rmat[m1.shape[0]:rmat.shape[0],m1.shape[1]:rmat.shape[1]] = m2 
rmat[0:m1.shape[0],m1.shape[1]:rmat.shape[1]] = bridge 
rmat[m1.shape[0]:rmat.shape[0],0:m1.shape[1]] = bridge.transpose() 

Answer 1

OK, tôi đã tìm thấy câu trả lời. Sử dụng scipy.sparse.coo_matrix nhanh hơn nhiều so với sử dụng lil_matrix. Tôi chuyển đổi các ma trận thành coo (không đau và nhanh) và sau đó chỉ cần ghép nối dữ liệu, các hàng và cột sau khi thêm phần đệm bên phải.

data = scipy.concatenate((m1S.data,bridgeS.data,bridgeTS.data,m2S.data)) 
rows = scipy.concatenate((m1S.row,bridgeS.row,bridgeTS.row + m1S.shape[0],m2S.row + m1S.shape[0])) 
cols = scipy.concatenate((m1S.col,bridgeS.col+ m1S.shape[1],bridgeTS.col ,m2S.col + m1S.shape[1])) 

scipy.sparse.coo_matrix((data,(rows,cols)),shape=(m1S.shape[0]+m2S.shape[0],m1S.shape[1]+m2S.shape[1])) 

Answer 2

Thư viện thưa thớt nay đã có hstack và vstack cho tương ứng concatenating ma trận theo chiều ngang và theo chiều dọc.

Answer 3

Sử dụng hstack, vstack hoặc concatenate, chậm hơn đáng kể so với việc ghép chính các đối tượng dữ liệu bên trong. Lý do là hstack/vstack chuyển đổi ma trận thưa thớt thành định dạng coo có thể rất chậm khi ma trận là rất lớn và không có định dạng coo. Dưới đây là mã để ghép các ma trận csc, phương pháp tương tự có thể được sử dụng cho các ma trận csr:

def concatenate_csc_matrices_by_columns(matrix1, matrix2): 
    new_data = np.concatenate((matrix1.data, matrix2.data)) 
    new_indices = np.concatenate((matrix1.indices, matrix2.indices)) 
    new_ind_ptr = matrix2.indptr + len(matrix1.data) 
    new_ind_ptr = new_ind_ptr[1:] 
    new_ind_ptr = np.concatenate((matrix1.indptr, new_ind_ptr)) 

    return csc_matrix((new_data, new_indices, new_ind_ptr)) 

Answer 4

Câu trả lời của Amos không còn cần thiết nữa. Scipy bây giờ làm một cái gì đó tương tự như nội bộ này nếu ma trận đầu vào có định dạng csr hoặc csc và định dạng đầu ra mong muốn được đặt thành không có hoặc định dạng giống như ma trận đầu vào. Đó là hiệu quả để theo chiều dọc chồng ma trận ở định dạng csr, hoặc để theo chiều ngang chồng ma trận ở định dạng csc, sử dụng scipy.sparse.vstack hoặc scipy.sparse.hstack, tương ứng.