Làm thế nào tôi có thể sửa lỗi MemoryError khi thực hiện scikit-learns silhouette score?

Question

Tôi chạy một thuật toán phân cụm và muốn đánh giá kết quả bằng cách sử dụng điểm số hình bóng trong học tập. Nhưng trong scikit-learning, nó cần tính toán ma trận khoảng cách: distance = pairwise_distances (X, metric = metric, ** kwds)

Do dữ liệu của tôi là 300K và bộ nhớ của tôi là 2GB và kết quả là hết bộ nhớ. Và tôi không thể đánh giá kết quả phân cụm.

Có ai biết cách khắc phục sự cố này không?

Answer 1

Đặt tham số sample_size trong cuộc gọi đến silhouette_score thành một số giá trị nhỏ hơn 300K. Sử dụng tham số này sẽ lấy mẫu dữ liệu từ X và tính toán silhouette_score trên những thay thế của toàn bộ mảng.