Thêm/xóa từ dừng bằng spacy

Question

Cách tốt nhất để thêm/xóa từ dừng bằng spacy là gì? Tôi đang sử dụng chức năng token.is_stop và muốn thực hiện một số thay đổi theo yêu cầu đối với bộ này. Tôi đã nhìn vào tài liệu nhưng không thể tìm thấy bất cứ điều gì liên quan đến từ dừng. Cảm ơn!

Answer 1

Bạn có thể chỉnh sửa chúng trước khi xử lý văn bản của bạn như thế này (xem this post):

>>> import spacy 
>>> nlp = spacy.load("en") 
>>> nlp.vocab["the"].is_stop = False 
>>> nlp.vocab["definitelynotastopword"].is_stop = True 
>>> sentence = nlp("the word is definitelynotastopword") 
>>> sentence[0].is_stop 
False 
>>> sentence[3].is_stop 
True 

Lưu ý: Điều này dường như làm việc < = v1.8. Đối với các phiên bản mới hơn, hãy xem các câu trả lời khác.

Answer 2

Đối với phiên bản 2.0 Tôi sử dụng này:

from spacy.lang.en.stop_words import STOP_WORDS 

print(STOP_WORDS) # <- set of Spacy's default stop words 

STOP_WORDS.add("your_additional_stop_word_here") 

for word in STOP_WORDS: 
    lexeme = nlp.vocab[word] 
    lexeme.is_stop = True 

này nạp tất cả các từ dừng vào một tập hợp.

Bạn có thể sửa đổi các từ dừng của mình thành STOP_WORDS hoặc sử dụng danh sách của riêng bạn ngay từ đầu.