Cách tính BIC để phân cụm k trong R

Question

Tôi đã sử dụng k-means để nhóm dữ liệu của mình vào R nhưng tôi muốn có thể đánh giá độ phức tạp của mô hình của cụm bằng cách sử dụng thông tin Baysiean Tiêu chí (BIC) và AIC. Hiện tại mã tôi đang sử dụng trong R là:

KClData <- kmeans(Data, centers=2, nstart= 100) 

Nhưng tôi muốn có thể trích xuất BIC và Đăng nhập Likelihood. Mọi sự trợ giúp sẽ rất được trân trọng!

Answer 1

Đối với bất kỳ ai khác đến đây, có một phương pháp do Sherry Towers đề xuất tại http://sherrytowers.com/2013/10/24/k-means-clustering/, sử dụng đầu ra từ stats::kmeans. Tôi xin trích dẫn:

Các AIC có thể được tính với các chức năng sau:

kmeansAIC = function(fit){ 

m = ncol(fit$centers) 
n = length(fit$cluster) 
k = nrow(fit$centers) 
D = fit$tot.withinss 
return(D + 2*m*k) 
} 

Từ sự giúp đỡ cho stats::AIC, bạn cũng có thể thấy rằng BIC có thể được tính toán theo một cách tương tự như AIC. Một cách dễ dàng để có được BIC là để thay thế cho return() trong hàm trên, với điều này:

return(data.frame(AIC = D + 2*m*k, 
        BIC = D + log(n)*m*k)) 

Vì vậy, bạn sẽ sử dụng điều này như sau:

fit <- kmeans(x = data,centers = 6) 
kmeansAIC(fit) 

Answer 2

Để tính BIC, chỉ cần thêm .5*k*d*log(n) (nơi k là số phương tiện, d là chiều dài của một vector trong tập dữ liệu của bạn, và n là số điểm dữ liệu) để hàm lỗi k-means chuẩn.

Hình phạt chuẩn k-means là \sum_n (m_k(n)-x_n)^2, trong đó m_k(n) là giá trị trung bình được kết hợp với điểm dữ liệu thứ n. Hình phạt này có thể được hiểu là xác suất nhật ký, vì vậy BIC hoàn toàn hợp lệ.

BIC chỉ thêm cụm từ hình phạt bổ sung vào lỗi k-means tỷ lệ thuận với k.

Answer 3

Chỉ cần thêm vào những gì user1149913 đã nói (Tôi không có đủ danh tiếng để nhận xét), vì bạn đang sử dụng hàm kmeans trong R, \sum_n (m_k(n)-x_n)^2 đã được tính cho bạn là KClData$tot.withinss.

Answer 4

Thay vì reimplementing AIC hoặc BIC, chúng tôi có thể xác định hàm khả năng đăng nhập cho các đối tượng kmeans; điều này sau đó sẽ được sử dụng bởi hàm BIC trong gói stats.

logLik.kmeans <- function(object) structure(
    -object$tot.withinss/2, 
    df = nrow(object$centers)*ncol(object$centers), 
    nobs = length(object$cluster) 
) 

Sau đó, để sử dụng nó, hãy gọi BIC như bình thường. Ví dụ:

example(kmeans, local=FALSE) 
BIC(cl) 
# [1] 26.22842084 

Phương pháp này sẽ được cung cấp trong bản phát hành tiếp theo của gói stackoverflow.