Kiểm tra sự giống nhau giữa hai từ với NLTK với Python

Question

Tôi có một hai danh sách và tôi muốn kiểm tra sự tương đồng giữa mỗi từ trong danh sách hai và tìm ra similarity.Here tối đa là mã của tôi,

from nltk.corpus import wordnet 

list1 = ['Compare', 'require'] 
list2 = ['choose', 'copy', 'define', 'duplicate', 'find', 'how', 'identify', 'label', 'list', 'listen', 'locate', 'match', 'memorise', 'name', 'observe', 'omit', 'quote', 'read', 'recall', 'recite', 'recognise', 'record', 'relate', 'remember', 'repeat', 'reproduce', 'retell', 'select', 'show', 'spell', 'state', 'tell', 'trace', 'write'] 
list = [] 

for word1 in list1: 
    for word2 in list2: 
     wordFromList1 = wordnet.synsets(word1)[0] 
     wordFromList2 = wordnet.synsets(word2)[0] 
     s = wordFromList1.wup_similarity(wordFromList2) 
     list.append(s) 

print(max(list)) 

Nhưng điều này sẽ dẫn đến lỗi:

wordFromList2 = wordnet.synsets(word2)[0] 
     IndexError: list index out of range 

Hãy giúp tôi khắc phục lỗi này.
Cám ơn bạn

Answer 1

Hãy thử kiểm tra xem các danh sách này là trống trước khi bạn sử dụng thì:

from nltk.corpus import wordnet 

list1 = ['Compare', 'require'] 
list2 = ['choose', 'copy', 'define', 'duplicate', 'find', 'how', 'identify', 'label', 'list', 'listen', 'locate', 'match', 'memorise', 'name', 'observe', 'omit', 'quote', 'read', 'recall', 'recite', 'recognise', 'record', 'relate', 'remember', 'repeat', 'reproduce', 'retell', 'select', 'show', 'spell', 'state', 'tell', 'trace', 'write'] 
list = [] 

for word1 in list1: 
    for word2 in list2: 
     wordFromList1 = wordnet.synsets(word1) 
     wordFromList2 = wordnet.synsets(word2) 
     if wordFromList1 and wordFromList2: #Thanks to @alexis' note 
      s = wordFromList1[0].wup_similarity(wordFromList2[0]) 
      list.append(s) 

print(max(list)) 

Answer 2

Bạn đang nhận được một lỗi nếu một danh sách synset là trống rỗng, và bạn cố gắng để có được những yếu tố tại (không - tồn tại) chỉ số bằng không. Nhưng tại sao chỉ kiểm tra yếu tố zero'th? Nếu bạn muốn kiểm tra mọi thứ, hãy thử tất cả các cặp của các phần tử trong các syns đã trả về. Bạn có thể sử dụng itertools.product() để tiết kiệm cho mình hai cho-vòng:

from itertools import product 
sims = [] 

for word1, word2 in product(list1, list2): 
    syns1 = wordnet.synsets(word1) 
    syns2 = wordnet.synsets(word2) 
    for sense1, sense2 in product(syns1, syns2): 
     d = wordnet.wup_similarity(sense1, sense2) 
     sims.append((d, syns1, syns2)) 

này là không hiệu quả vì synsets cùng được nhìn lên một lần nữa và một lần nữa, nhưng nó là gần nhất với logic của mã của bạn. Nếu bạn có đủ dữ liệu để cải thiện tốc độ, bạn có thể tăng tốc độ bằng cách thu thập các synset cho tất cả các từ trong list1 và list2sau khi và lấy sản phẩm của các bộ đồng bộ.

>>> allsyns1 = set(ss for word in list1 for ss in wordnet.synsets(word)) 
>>> allsyns2 = set(ss for word in list2 for ss in wordnet.synsets(word)) 
>>> best = max((wordnet.wup_similarity(s1, s2) or 0, s1, s2) for s1, s2 in 
     product(allsyns1, allsyns2)) 
>>> print(best) 
(0.9411764705882353, Synset('command.v.02'), Synset('order.v.01'))