Làm cách nào để sử dụng trình mã thông báo mặc định của NLTK để có được các nhịp thay vì chuỗi?

Question

Trình mã thông báo mặc định của NLTK, nltk.word_tokenizer, chuỗi hai mã thông báo, một trình thông báo câu và sau đó một trình mã thông báo từ hoạt động trên các câu. Nó làm một công việc khá tốt ngoài hộp.

>>> nltk.word_tokenize("(Dr. Edwards is my friend.)") 
['(', 'Dr.', 'Edwards', 'is', 'my', 'friend', '.', ')'] 

Tôi muốn sử dụng cùng một thuật toán này ngoại trừ việc giải thuật này trả về số lượng bù trừ vào chuỗi gốc thay vì mã thông báo chuỗi.

Bằng cách bù đắp, tôi có nghĩa là 2-ples có thể đóng vai trò như chỉ mục trong chuỗi gốc. Ví dụ ở đây tôi muốn có

>>> s = "(Dr. Edwards is my friend.)" 
>>> s.token_spans() 
[(0,1), (1,4), (5,12), (13,15), (16,18), (19,25), (25,26), (26,27)] 

vì s [0: 1] là "(", s [1: 4] là "Tiến sĩ" và vân vân

Có NLTK duy nhất. gọi đó là thực hiện điều này, hay tôi phải viết bù đắp số học của riêng tôi?

Answer 1

Vâng, hầu hết Tokenizers trong NLTK có một phương pháp gọi là span_tokenize nhưng tiếc là Tokenizer bạn đang sử dụng thì không.

Theo mặc định, word_tokenize chức năng uses a TreebankWordTokenizer. Tổ hợp TreebankWordTokenizer ementation có khá mạnh mẽ implementation nhưng hiện tại nó thiếu một triển khai cho một phương pháp quan trọng, span_tokenize.

Tôi thấy không thực hiện span_tokenize cho số TreebankWordTokenizer vì vậy tôi tin rằng bạn sẽ cần phải triển khai của riêng bạn. Phân lớp TokenizerI có thể làm cho quá trình này phức tạp hơn một chút.

Bạn có thể tìm thấy phương pháp span_tokenizePunktWordTokenizer hữu ích dưới dạng starting point.

Tôi hy vọng thông tin này sẽ hữu ích.