Làm cách nào để tính phương sai của cột của ma trận thưa thớt trong Scipy?

Question

Tôi có một số lớn scipy.sparse.csc_matrix và muốn bình thường hóa nó. Đó là trừ giá trị trung bình của cột từ mỗi phần tử và chia cho độ lệch chuẩn của cột (std) i.

scipy.sparse.csc_matrix có .mean() nhưng có cách nào hiệu quả để tính phương sai hoặc tiêu chuẩn không?

Answer 1

Bạn có thể tính toán phương sai cho mình sử dụng giá trị trung bình, với formula sau:

E[X^2] - (E[X])^2 

E[X] đứng cho giá trị trung bình. Vì vậy, để tính toán E[X^2], bạn sẽ phải tạo hình vuông csc_matrix và sau đó sử dụng chức năng mean. Để có được (E[X])^2, bạn chỉ cần căn chỉnh kết quả của hàm mean thu được bằng cách sử dụng đầu vào bình thường.

Answer 2

Cách hiệu quả thực sự là để tăng mật độ toàn bộ ma trận, sau đó chuẩn hóa nó theo cách thông thường với

X = X.toarray() 
X -= X.mean() 
X /= X.std() 

Như @Sebastian đã lưu ý trong ý kiến ​​của mình, tiêu chuẩn hóa phá hủy các cấu trúc thưa thớt (giới thiệu rất nhiều phi các phần tử không) trong bước trừ, vì vậy không sử dụng giữ ma trận ở định dạng thưa thớt.