tương cú pháp/Khoảng cách giữa 2 câu/chuỗi/văn bản sử dụng NLTK

Question

Tôi có 2 văn bản như sau

Text1: John thích táo

Text2: Mike ghét cam

Nếu bạn kiểm tra ở trên 2 văn bản, cả hai đều tương tự như cú pháp nhưng ngữ nghĩa có ý nghĩa khác.

Tôi muốn tìm

1) khoảng cách cú pháp giữa 2 văn bản

2) khoảng cách Semantic giữa 2 văn bản

Có cách nào để làm điều này sử dụng NLTK, như I am newbie đến NLP ?

Answer 1

Có, nhưng không giới hạn ở nltk. Một cách sử dụng cho khoảng cách cú pháp, là một phần của Speech gắn thẻ (POS Tagging) mà bản đồ mỗi từ của câu để một từ khóa cụ thể: https://en.wikipedia.org/wiki/Part-of-speech_tagging

Ví dụ nó là map câu của bạn để sau đây:
Text1: Danh từ Động từ Danh từ
Text2: Noun Verb Noun

Sau đó, bạn có thể đo khoảng cách của hai câu này.

---

Và đối với ngữ nghĩa, bạn cần ròng từ ngữ nghĩa và tìm từ đồng nghĩa cho mỗi từ của câu, sau đó cố gắng tìm ra giao điểm của các từ đồng nghĩa của các từ trong mỗi câu

Answer 2

Đối với ngữ nghĩa, bạn có thể muốn để thử word2vec. Bạn có thể trung bình một cách an toàn sự giống nhau của các từ trong câu hoặc bạn có thể đưa ra cách của riêng bạn để cân nhắc các từ theo cú pháp của nó.

from gensim.models import Word2Vec 

model = Word2Vec.load(path/to/your/model) 

model.similarity('apple', 'orange')