k-có nghĩa là phân cụm trong R trên ma trận rất lớn, thưa thớt?

Question

Tôi đang cố gắng thực hiện một số cụm từ k trên một ma trận rất lớn.

Ma trận có khoảng 500.000 hàng x 4000 cols nhưng rất thưa thớt (chỉ một vài giá trị "1" cho mỗi hàng).

Toàn bộ nội dung không phù hợp với bộ nhớ, vì vậy tôi đã chuyển đổi nó thành tệp ARFF thưa thớt. Nhưng R rõ ràng không thể đọc được định dạng tệp ARFF thưa thớt. Tôi cũng có dữ liệu dưới dạng tệp CSV đơn giản.

Có gói nào có sẵn trong R để tải các ma trận thưa thớt như vậy một cách hiệu quả không? Sau đó tôi sẽ sử dụng thuật toán k-means thông thường từ gói cụm để tiếp tục.

Rất cám ơn

Answer 1

Gói bigmemory (hoặc tại gia đình của gói - xem họ website) được sử dụng k-means như chạy ví dụ về phân tích mở rộng trên dữ liệu lớn. Xem cụ thể gói phụ biganalytics có chứa hàm k-means.

Answer 2

Vui lòng kiểm tra:

library(foreign) 
?read.arff 

Cheers.

Answer 3

Có gói SparseM đặc biệt cho R có thể giữ hiệu quả. Nếu điều đó không hiệu quả, tôi sẽ cố gắng chuyển sang một ngôn ngữ hiệu suất cao hơn, như C.

Answer 4

sparkcl thực hiện phân cụm theo cấp bậc thưa thớt và phân cụm k có nghĩa thưa thớt Điều này sẽ phù hợp với R (phù hợp với bộ nhớ) ma trận.

http://cran.r-project.org/web/packages/sparcl/sparcl.pdf

==

Đối với ma trận thực sự lớn, tôi sẽ cố gắng một giải pháp với Apache Spark ma trận thưa thớt, và MLlib - vẫn còn, không biết làm thế nào bây giờ nó thực nghiệm là:

https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.mllib.linalg.Matrices $

https://spark.apache.org/docs/latest/mllib-clustering.html