Làm cách nào để thêm các từ ghép vào trình gắn thẻ trong NLTK?

Question

Vì vậy, tôi đã tự hỏi nếu có ai có ý tưởng làm thế nào để kết hợp nhiều thuật ngữ để tạo ra một thuật ngữ duy nhất trong các thẻ trong NLTK..

Ví dụ, khi tôi làm:

nltk.pos_tag(nltk.word_tokenize('Apple Incorporated is the largest company')) 

Nó mang lại cho tôi:

[('Apple', 'NNP'), ('Incorporated', 'NNP'), ('is', 'VBZ'), ('the', 'DT'), ('largest', 'JJS'), ('company', 'NN')] 

Làm thế nào để làm cho nó đặt 'Apple' và 'Thành lập' Cùng là ('Apple Incorporated','NNP')

Answer 1

Bạn có thể thử xem nltk.RegexParser. Nó cho phép bạn tách một phần nội dung được gắn thẻ giọng nói dựa trên cụm từ thông dụng. Trong ví dụ của bạn, bạn có thể làm một cái gì đó giống như

pattern = "NP:{<NN|NNP|NNS|NNPS>+}" 
c = nltk.RegexpParser(p) 
t = c.parse(nltk.pos_tag(nltk.word_tokenize("Apple Incorporated is the largest company"))) 
print t 

Điều này sẽ cung cấp cho bạn:

Tree('S', [Tree('NP', [('Apple', 'NNP'), ('Incorporated', 'NNP')]), ('is', 'VBZ'), ('the', 'DT'), ('largest', 'JJS'), Tree('NP', [('company', 'NN')])]) 

Answer 2

Mã này được thực hiện chính xác những gì nó là vụ phải làm. Nó là thêm một phần của thẻ Speech vào thẻ. 'Apple Incorporated' không phải là một mã thông báo duy nhất. Nó là hai thẻ riêng biệt, và như vậy không thể có một thẻ POS duy nhất được áp dụng cho nó. Đây là hành vi đúng.

Tôi tự hỏi nếu bạn đang cố gắng sử dụng công cụ sai cho công việc. Bạn đang cố gắng làm gì/Tại sao bạn lại cố gắng làm điều đó? Có lẽ bạn quan tâm đến việc xác định collocations hơn là gắn thẻ POS? Bạn có thể xem tại đây: collocations module