scipy khó hiểu "không thể chuyển đổi số nguyên vô hướng" lỗi

Question

Tôi đang xây dựng một vector thưa thớt sử dụng một scipy.sparse.csr_matrix như vậy:

csr_matrix((values, (np.zeros(len(indices)), indices)), shape = (1, max_index)) 

này hoạt động tốt cho hầu hết các dữ liệu của tôi, nhưng đôi khi tôi nhận được một ValueError: could not convert integer scalar.

này tái tạo các vấn đề:

In [145]: inds 

Out[145]: 
array([ 827969148, 996833913, 1968345558, 898183169, 1811744124, 
     2101454109, 133039182, 898183170, 919293479, 133039089]) 

In [146]: vals 

Out[146]: 
array([ 1., 1., 1., 1., 1., 2., 1., 1., 1., 1.]) 

In [147]: max_index 

Out[147]: 
2337713000 

In [143]: csr_matrix((vals, (np.zeros(10), inds)), shape = (1, max_index+1)) 
... 

    996   fn = _sparsetools.csr_sum_duplicates 
    997   M,N = self._swap(self.shape) 
--> 998   fn(M, N, self.indptr, self.indices, self.data) 
    999 
    1000   self.prune() # nnz may have changed 

ValueError: could not convert integer scalar 

inds là một mảng np.int64 và vals là một mảng np.float64.

Phần có liên quan của mã số sum_duplicates scipy là here.

Lưu ý rằng công trình này:

In [235]: csr_matrix(([1,1], ([0,0], [1,2])), shape = (1, 2**34)) 
Out[235]: 

<1x17179869184 sparse matrix of type '<type 'numpy.int64'>' 
    with 2 stored elements in Compressed Sparse Row format> 

Vì vậy, vấn đề không phải là một trong những khía cạnh là > 2^31

Bất kỳ suy nghĩ tại sao những giá trị cần được gây ra một vấn đề?

Answer 1

Có thể là max_index> 2 ** 31 không? Hãy thử điều này, chỉ để chắc chắn:

csr_matrix((vals, (np.zeros(10), inds/2)), shape = (1, max_index/2))

Answer 2

Chỉ số tối đa bạn đang đưa ra là ít hơn so với chỉ số tối đa của các hàng bạn đang cung cấp.

Điều này sparse.csr_matrix((vals, (np.zeros(10), inds)), shape = (1, np.max(inds)+1)) hoạt động tốt với tôi.

Mặc dù thực hiện một .todense() kết quả do lỗi bộ nhớ cho các kích thước lớn của ma trận

Answer 3

uncommenting các sum_duplicates - chức năng sẽ dẫn đến sai sót khác. Nhưng sửa lỗi này: strange error when creating csr_matrix cũng giải quyết được vấn đề của bạn. Bạn có thể mở rộng phiên bản_check lên các phiên bản mới hơn của scipy.

import scipy 
import scipy.sparse 
if scipy.__version__ in ("0.14.0", "0.14.1", "0.15.1"): 
    _get_index_dtype = scipy.sparse.sputils.get_index_dtype 
    def _my_get_index_dtype(*a, **kw): 
     kw.pop('check_contents', None) 
     return _get_index_dtype(*a, **kw) 
    scipy.sparse.compressed.get_index_dtype = _my_get_index_dtype 
    scipy.sparse.csr.get_index_dtype = _my_get_index_dtype 
    scipy.sparse.bsr.get_index_dtype = _my_get_index_dtype