Xác định một từ có phải là danh từ hay không

Question

Với từ nhập, tôi muốn xác định xem đó có phải là danh từ hay không (trong trường hợp mơ hồ), ví dụ cook có thể là danh từ hoặc động từ. như một danh từ).

Thực ra tôi sử dụng trình gắn thẻ POS từ trình phân tích cú pháp Stanford (tôi cho nó một từ làm đầu vào và tôi chỉ trích xuất thẻ POS từ kết quả). Kết quả khá tốt nhưng phải mất một thời gian rất dài.

Có cách nào (bằng python, vui lòng không :) để thực hiện tác vụ này nhanh hơn những gì tôi thực sự làm?

Answer 1

Nếu bạn chỉ muốn kiểm tra xem một từ có thể được sử dụng làm danh từ hay không, cách nhanh nhất có thể là xây dựng một tập hợp tất cả các danh từ và sau đó chỉ kiểm tra từ thành viên của tập hợp đó.

Đối với một danh sách tất cả các danh từ bạn có thể sử dụng WordNet corpus (mà có thể được truy cập thông qua NLTK ví dụ):

>>> from nltk.corpus import wordnet as wn 
>>> nouns = {x.name().split('.', 1)[0] for x in wn.all_synsets('n')} 
>>> "cook" in nouns 
True 
>>> "and" in nouns 
False 

Answer 2

tôi không thể nói cho wrapper Python, nhưng nếu bạn sử dụng Stanford POS tagger thay vì trình phân tích cú pháp, nó sẽ nhanh hơn rất nhiều. Có các trình bao bọc cho Stanford CoreNLP, bao gồm trình gắn thẻ: https://pypi.python.org/pypi/corenlp-python; hoặc, có vẻ như nltk có mô-đun trình gắn thẻ Stanford quá http://www.nltk.org/_modules/nltk/tag/stanford.html.

Bạn cũng có thể nhận được kết quả tốt hơn nếu bạn nhúng một từ trong câu đồ chơi. Một cái gì đó như "The X là một điều." Tùy thuộc vào câu, điều này có thể thiên vị bạn hướng tới hoặc đi từ đoán từ như danh từ quá.

Answer 3

Tôi sẽ sử dụng thứ hai Wordnet nếu bạn đang kiểm tra các từ đơn lẻ. Tôi cũng sử dụng TreeTagger tự do sẵn có: http://www.cis.uni-muenchen.de/~schmid/tools/TreeTagger/ Hệ nhị phân chạy rất nhanh và có hỗ trợ nhiều ngôn ngữ. Nếu bạn cần giải pháp Pythonic thuần túy, hãy kiểm tra việc triển khai NLTK của Brill Tagger: http://www.nltk.org/_modules/nltk/tag/brill.html