triển khai thưa thớt của tính toán khoảng cách trong python/scikit-học

Question

Tôi có một lớn (100K bởi 30K) và (rất) dữ liệu thưa thớt ở định dạng svmlight mà tôi tải như sau:

import numpy as np 
from scipy.cluster.vq import kmeans2 
from scipy.spatial.distance import pdist, squareform 
from sklearn.datasets import load_svmlight_file 

X,Y = load_svmlight_file("somefile_svm.txt") 

mà trả về một scipy thưa thớt mảng X

tôi chỉ đơn giản là cần phải tính toán khoảng cách cặp của tất cả các điểm đào tạo như

D = pdist(X) 

Thật không may, triển khai khoảng cách tính toán chỉ trong công việc scipy.spatial.distance cho các ma trận dày đặc. Do kích thước của các tập dữ liệu đó là không khả thi, nói, sử dụng pdist như

D = pdist(X.todense()) 

Bất kỳ con trỏ để triển khai tính toán khoảng cách ma trận thưa thớt hoặc cách giải quyết liên quan đến vấn đề này sẽ được đánh giá rất nhiều.

Rất cám ơn

Answer 1

Trong scikit-học có một chức năng sklearn.metrics.euclidean_distances mà làm việc cho cả ma trận thưa thớt và mảng NumPy dày đặc. Xem số reference documentation.

Tuy nhiên khoảng cách phi Euclide chưa được triển khai cho các ma trận thưa thớt.