Giá trị Clustering bởi sự gần nhau của chúng trong python (máy học?)

Question

Tôi có một thuật toán đang chạy trên một tập các đối tượng. Thuật toán này tạo ra một giá trị điểm số quy định sự khác biệt giữa các phần tử trong tập hợp.

Kết quả được sắp xếp là một cái gì đó như thế này:

[1,1,5,6,1,5,10,22,23,23,50,51,51,52,100,112,130,500,512,600,12000,12230]

Nếu bạn đặt các giá trị này xuống trên bảng tính, bạn sẽ thấy chúng tạo thành nhóm

[1,1,5,6,1,5] [10,22,23,23] [50,51, 51,52] [100,112,130] [500,512,600] [12000,12230]

Có cách nào để lập trình các nhóm này không?

Có thể một số thuật toán phân cụm bằng thư viện học máy? Hay tôi đang suy nghĩ về điều này?

Tôi đã xem xét scikit nhưng các ví dụ của chúng quá cao cấp cho sự cố của tôi ...

Answer 1

Bạn có thể sử dụng phân cụm để nhóm các mục này. Bí quyết là hiểu rằng có hai thứ nguyên cho dữ liệu của bạn: thứ nguyên bạn có thể thấy và thứ nguyên "không gian" trông giống như [1, 2, 3 ... 22]. Bạn có thể tạo ma trận này trong numpy như vậy:

import numpy as np 

y = [1,1,5,6,1,5,10,22,23,23,50,51,51,52,100,112,130,500,512,600,12000,12230] 
x = range(len(y)) 
m = np.matrix([x, y]).transpose() 

Sau đó, bạn có thể thực hiện clustering trên ma trận, với:

đầu ra

from scipy.cluster.vq import kmeans 
kclust = kmeans(m, 5) 

kclust sẽ trông như thế này:

(array([[ 11, 51], 
     [ 15, 114], 
     [ 20, 12115], 
     [ 4,  9], 
     [ 18, 537]]), 21.545126372346271) 

Đối bạn, phần thú vị nhất là cột đầu tiên của ma trận, cho biết các trung tâm nằm dọc theo thứ nguyên x đó:

kclust[0][:, 0] 
# [20 18 15 4 11] 

Sau đó bạn có thể gán số điểm đó để một cụm trên cơ sở đó trong năm trung tâm nào sát nó:

assigned_clusters = [abs(cluster_indices - e).argmin() for e in x] 
# [3, 3, 3, 3, 3, 3, 3, 3, 4, 4, 4, 4, 4, 2, 2, 2, 2, 1, 1, 0, 0, 0] 

Answer 2

Một lựa chọn tốt nếu bạn không biết số lượng cụm là MeanShift:

import numpy as np 
from sklearn.cluster import MeanShift, estimate_bandwidth 

x = [1,1,5,6,1,5,10,22,23,23,50,51,51,52,100,112,130,500,512,600,12000,12230] 

X = np.array(zip(x,np.zeros(len(x))), dtype=np.int) 
bandwidth = estimate_bandwidth(X, quantile=0.1) 
ms = MeanShift(bandwidth=bandwidth, bin_seeding=True) 
ms.fit(X) 
labels = ms.labels_ 
cluster_centers = ms.cluster_centers_ 

labels_unique = np.unique(labels) 
n_clusters_ = len(labels_unique) 

for k in range(n_clusters_): 
    my_members = labels == k 
    print "cluster {0}: {1}".format(k, X[my_members, 0]) 

Output cho thuật toán này:

cluster 0: [ 1 1 5 6 1 5 10 22 23 23 50 51 51 52] 
cluster 1: [100 112 130] 
cluster 2: [500 512] 
cluster 3: [12000] 
cluster 4: [12230] 
cluster 5: [600] 

Modi fying quantile biến bạn có thể thay đổi tiêu chí lựa chọn số phân nhóm

Answer 3

Không sử dụng phân nhóm cho dữ liệu 1 chiều

thuật toán Clustering được thiết kế cho dữ liệu đa biến. Khi bạn có dữ liệu 1 chiều, hãy sắp xếp và tìm kiếm các khoảng trống lớn nhất lớn nhất. Đây là tầm thường và nhanh trong 1 ngày và không thể thực hiện trong 2 ngày. Nếu bạn muốn một cái gì đó nâng cao hơn, hãy sử dụng Kernel Density Estimation (KDE) và tìm minima cục bộ để chia bộ dữ liệu.

Có một số các bản sao của câu hỏi này:

• 1D Number Array Clustering
• Cluster one-dimensional data optimally?