Làm cách nào để mã hóa một câu chuỗi trong NLTK?

Question

Tôi đang sử dụng nltk, vì vậy tôi muốn tạo các văn bản tùy chỉnh của riêng mình giống như các văn bản mặc định trên nltk.books. Tuy nhiên, tôi vừa đứng dậy để phương pháp này như

my_text = ['This', 'is', 'my', 'text'] 

Tôi muốn khám phá cách nào để đầu vào của tôi "văn bản" như:

my_text = "This is my text, this is a nice way to input text." 

Những phương pháp, python hoặc từ NLTK phép tôi làm điều này. Và quan trọng hơn, làm thế nào tôi có thể đánh giá thấp các ký hiệu chấm câu?

Answer 1

Đây là thực sự trên main page of nltk.org:

>>> import nltk 
>>> sentence = """At eight o'clock on Thursday morning 
... Arthur didn't feel very good.""" 
>>> tokens = nltk.word_tokenize(sentence) 
>>> tokens 
['At', 'eight', "o'clock", 'on', 'Thursday', 'morning', 
'Arthur', 'did', "n't", 'feel', 'very', 'good', '.'] 

Answer 2

Như @PavelAnossov trả lời, câu trả lời kinh điển, sử dụng các chức năng trong word_tokenize NLTK:

from nltk import word_tokenize 
sent = "This is my text, this is a nice way to input text." 
word_tokenize(sent) 

---

Nếu câu của bạn thực sự là đơn giản đủ:

Sử dụng các thiết lập string.punctuation, loại bỏ dấu chấm câu sau đó tách bằng cách sử dụng dấu phân cách khoảng trắng:

import string 
x = "This is my text, this is a nice way to input text." 
y = "".join([i for i in x if not in string.punctuation]).split(" ") 
print y