Làm thế nào để nhân một ma trận scipy.sparse một cách yếu tố bằng một mảng dày đặc 1d được phát sóng?

Question

Giả sử tôi có mảng thưa thớt 2d. Trong usecase thật của tôi cả số lượng hàng và cột là lớn hơn nhiều (nói 20000 và 50000) do đó nó không thể phù hợp trong bộ nhớ khi một đại diện dày đặc được sử dụng:

>>> import numpy as np 
>>> import scipy.sparse as ssp 

>>> a = ssp.lil_matrix((5, 3)) 
>>> a[1, 2] = -1 
>>> a[4, 1] = 2 
>>> a.todense() 
matrix([[ 0., 0., 0.], 
     [ 0., 0., -1.], 
     [ 0., 0., 0.], 
     [ 0., 0., 0.], 
     [ 0., 2., 0.]]) 

Bây giờ giả sử tôi có một mảng 1d dày đặc với tất cả thành phần không số không với kích thước 3 (hoặc 50000 trong trường hợp thực tế cuộc sống của tôi):

>>> d = np.ones(3) * 3 
>>> d 
array([ 3., 3., 3.]) 

tôi muốn tính toán nhân elementwise của a và d bằng cách sử dụng ngữ nghĩa phát thanh truyền hình thông thường của numPy. Tuy nhiên, các ma trận thưa thớt trong scipy là của np.matrix: các '*' điều hành bị quá tải để có nó cư xử giống như một ma trận nhân thay vì elementwise-nhân:

>>> a * d 
array([ 0., -3., 0., 0., 6.]) 

Một giải pháp sẽ được thực hiện ' một' chuyển sang ngữ nghĩa mảng cho '*' nhà điều hành, mà sẽ cung cấp cho các kết quả mong đợi:

>>> a.toarray() * d 
array([[ 0., 0., 0.], 
     [ 0., 0., -3.], 
     [ 0., 0., 0.], 
     [ 0., 0., 0.], 
     [ 0., 6., 0.]]) 

Nhưng tôi không thể làm điều đó kể từ khi cuộc gọi đến toArray() sẽ thực hóa các phiên bản dày đặc của 'a' mà không vừa trong bộ nhớ (và kết quả sẽ dày đặc quá):

>>> ssp.issparse(a.toarray()) 
False 

Bất kỳ ý tưởng làm thế nào để xây dựng này trong khi chỉ giữ cơ sở dữ liệu thưa thớt và không cần phải làm một vòng python không hiệu quả trên các cột của 'a'?

Answer 1

Tôi cũng trả lời tại scipy.org, nhưng tôi nghĩ tôi nên thêm câu trả lời ở đây, trong trường hợp những người khác tìm thấy trang này khi tìm kiếm.

Bạn có thể biến véc tơ thành ma trận đường chéo thưa và sau đó sử dụng phép nhân ma trận (với *) để thực hiện tương tự như phát sóng, nhưng hiệu quả.

>>> d = ssp.lil_matrix((3,3)) 
>>> d.setdiag(np.ones(3)*3) 
>>> a*d 
<5x3 sparse matrix of type '<type 'numpy.float64'>' 
with 2 stored elements in Compressed Sparse Row format> 
>>> (a*d).todense() 
matrix([[ 0., 0., 0.], 
     [ 0., 0., -3.], 
     [ 0., 0., 0.], 
     [ 0., 0., 0.], 
     [ 0., 6., 0.]]) 

Hy vọng điều đó sẽ hữu ích!

Answer 2

Vâng, đây là một mã đơn giản sẽ làm những gì bạn muốn. Tôi không biết nếu nó là hiệu quả như bạn mong muốn, vì vậy mang nó hoặc để lại nó:

import scipy.sparse as ssp 
def pointmult(a,b): 
    x = a.copy() 
    for i in xrange(a.shape[0]): 
     if x.data[i]: 
      for j in xrange(len(x.data[i])): 
       x.data[i] *= b[x.rows[i]] 
    return x 

Nó chỉ làm việc với ma trận lil vì vậy bạn sẽ cần phải thực hiện một số thay đổi nếu bạn muốn nó để làm việc với các định dạng khác.

Answer 3

Tôi nghĩ rằng A.multiply (B) nên hoạt động trong scipy thưa thớt. Phương thức nhân nhân làm phép nhân "điểm-khôn ngoan", chứ không phải nhân ma trận.

HTH