Phân cụm dựa trên ma trận khoảng cách

Question

Mục tiêu của tôi là cụm từ dựa trên mức độ tương tự của chúng đối với một tập hợp tài liệu văn bản. Tôi đã tính toán tương tự Jaccard giữa mỗi cặp từ. Nói cách khác, tôi có một ma trận khoảng cách thưa thớt có sẵn với tôi. Bất cứ ai có thể chỉ cho tôi bất kỳ thuật toán phân cụm (và có thể là thư viện của nó trong Python) mà mất ma trận khoảng cách như đầu vào? Tôi cũng không biết số lượng cụm trước. Tôi chỉ muốn cụm từ những từ này và có được những từ được nhóm lại với nhau.

Answer 1

Gói phân cụm scipy có thể hữu ích (scipy.cluster). Có các hàm phân cụm theo cấp bậc trong scipy.cluster.hierarchy. Tuy nhiên, lưu ý rằng những yêu cầu đó cần một ma trận ngưng tụ làm đầu vào (hình tam giác trên của ma trận khoảng cách). Hy vọng rằng các trang tài liệu sẽ giúp bạn cùng.

Answer 2

Bạn có thể sử dụng hầu hết các thuật toán trong việc học bằng scikit với ma trận khoảng cách được tính trước. Thật không may bạn cần số lượng cụm cho nhiều thuật toán. DBSCAN là người duy nhất không cần số cụm và cũng sử dụng ma trận khoảng cách tùy ý. Bạn cũng có thể thử MeanShift, nhưng điều đó sẽ giải thích khoảng cách là tọa độ - cũng có thể hoạt động.

Ngoài ra còn có affinity propagation, nhưng tôi chưa thực sự thấy rằng hoạt động tốt. Tuy nhiên, nếu bạn muốn có nhiều cụm, điều đó có thể hữu ích.

tiết lộ: Tôi là một nhà phát triển cốt lõi về kiến ​​thức.