cách tìm các câu/cụm từ tương tự trong R?

Question

Ví dụ, tôi có hàng tỷ cụm từ ngắn và tôi muốn các cụm từ tương tự nhau.

> strings.to.cluster <- c("Best Toyota dealer in bay area. Drive out with a new car today", 
         "Largest Selection of Furniture. Stock updated everyday" , 
         " Unique selection of Handcrafted Jewelry", 
         "Free Shipping for orders above $60. Offer Expires soon", 
         "XXXX is where smart men buy anniversary gifts", 
         "2012 Camrys on Sale. 0% APR for select customers", 
         "Closing Sale on office desks. All Items must go" 
         ) 

giả định rằng vectơ này là hàng trăm nghìn hàng. Có một gói trong R để cụm các cụm từ này bằng ý nghĩa? hoặc ai đó có thể đề xuất một cách để xếp hạng các cụm từ "tương tự" theo nghĩa cho một cụm từ nhất định.

Answer 1

Bạn có thể xem cụm từ của mình là "túi từ", nghĩa là xây dựng ma trận (ma trận "tài liệu"), với một hàng cho mỗi cụm từ, một cột cho mỗi từ, với 1 nếu từ xuất hiện trong cụm từ và 0 nếu không. (Bạn có thể thay thế 1 bằng một số trọng lượng sẽ tính đến độ dài cụm từ và tần suất từ). Sau đó, bạn có thể áp dụng bất kỳ thuật toán phân cụm nào. Gói tm có thể giúp bạn tạo ma trận này.

library(tm) 
library(Matrix) 
x <- TermDocumentMatrix(Corpus(VectorSource(strings.to.cluster))) 
y <- sparseMatrix(i=x$i, j=x$j, x=x$v, dimnames = dimnames(x)) 
plot(hclust(dist(t(y)))) 

Answer 2

Có thể xem tài liệu này: http://www.inside-r.org/howto/mining-twitter-airline-consumer-sentiment có thể giúp, sử dụng R và xem xét tâm lý thị trường cho các hãng hàng không sử dụng twitter.