Cách trích xuất các cụm từ phổ biến/quan trọng từ một loạt các mục nhập văn bản

Question

Tôi có một loạt các mục văn bản- HTML thô từ cơ sở dữ liệu MySQL. Tôi muốn tìm các cụm từ phổ biến nhất trong các mục này (không phải là cụm từ phổ biến nhất, và lý tưởng nhất là không thực thi đối sánh từng từ).

dụ của tôi là bất kỳ đánh giá về Yelp.com, cho thấy 3 đoạn từ hàng trăm ý kiến ​​của một nhà hàng nào đó, trong các định dạng:

"Hãy thử những chiếc bánh hamburger" (trong 44 đánh giá)

ví dụ , "Xem lại nổi bật" của trang này:

http://www.yelp.com/biz/sushi-gen-los-angeles/

tôi có NLTK cài đặt và tôi đã chơi đùa với nó một chút, nhưng tôi thành thật choáng ngợp bởi các tùy chọn. Điều này có vẻ giống như một vấn đề khá phổ biến và tôi đã không thể tìm thấy một giải pháp đơn giản bằng cách tìm kiếm ở đây.

Answer 1

Vâng, để bắt đầu, có thể bạn sẽ phải xóa tất cả các thẻ HTML (tìm kiếm "< [^>] *>" và thay thế bằng ""). Sau đó, bạn có thể thử cách tiếp cận ngây thơ của việc tìm kiếm các chất nền phổ biến dài nhất giữa hai mục văn bản, nhưng tôi không nghĩ rằng bạn sẽ nhận được kết quả rất tốt. Bạn có thể làm tốt hơn bằng cách chuẩn hóa các từ (giảm chúng thành dạng cơ bản, xóa tất cả dấu trọng âm, đặt mọi thứ xuống chữ thường hoặc chữ hoa) trước tiên và rồi phân tích. Một lần nữa, tùy thuộc vào những gì bạn muốn hoàn thành, bạn có thể nhóm các mục văn bản tốt hơn nếu bạn cho phép linh hoạt thứ tự từ, tức là xử lý các mục văn bản như các túi của các từ được chuẩn hóa và đo độ tương đồng về nội dung của túi.

Tôi đã nhận xét về chủ đề tương tự (mặc dù không giống hệt) here.

Answer 2

Tôi nghi ngờ bạn không chỉ muốn các cụm từ phổ biến nhất, mà là bạn muốn thú vị nhất collocations. Nếu không, bạn có thể kết thúc bằng việc mô tả quá nhiều cụm từ được tạo thành từ các từ phổ biến và ít cụm từ thú vị và mang tính thông tin hơn.

Để làm điều này, về cơ bản bạn sẽ muốn trích xuất n-grams từ dữ liệu của mình và sau đó tìm những từ có số lượng cao nhất point wise mutual information (PMI). Đó là, bạn muốn tìm những từ đồng xuất hiện với nhau nhiều hơn bạn mong đợi họ tình cờ.

Các NLTK collocations how-to bao gồm làm thế nào để làm điều này trong một khoảng 7 dòng mã, ví dụ .:

import nltk 
from nltk.collocations import * 
bigram_measures = nltk.collocations.BigramAssocMeasures() 
trigram_measures = nltk.collocations.TrigramAssocMeasures() 

# change this to read in your data 
finder = BigramCollocationFinder.from_words(
    nltk.corpus.genesis.words('english-web.txt')) 

# only bigrams that appear 3+ times 
finder.apply_freq_filter(3) 

# return the 10 n-grams with the highest PMI 
finder.nbest(bigram_measures.pmi, 10) 

Answer 3

nếu bạn chỉ muốn để có được lớn hơn 3 ngrams bạn có thể thử này. Tôi giả sử bạn đã loại bỏ tất cả rác như html, v.v.

import nltk 
ngramlist=[] 
raw=<yourtextfile here> 

x=1 
ngramlimit=6 
tokens=nltk.word_tokenize(raw) 

while x <= ngramlimit: 
    ngramlist.extend(nltk.ngrams(tokens, x)) 
    x+=1 

Có lẽ không phải là rất nhiệt tình vì tôi chỉ làm việc này một tháng hoặc lâu hơn, nhưng có thể giúp đỡ!

Answer 4

Tôi nghĩ rằng những gì bạn đang tìm kiếm là chunking. Tôi khuyên bạn nên đọc chapter 7 of the NLTK book hoặc có thể là bài viết của riêng tôi trên chunk extraction. Cả hai đều giả định kiến ​​thức về gắn thẻ từng phần, được bao gồm trong chapter 5.