Chia chuỗi tại các dấu chấm câu khác nhau bằng cách sử dụng split()

Question

Tôi đang cố gắng chia chuỗi thành các từ, xóa dấu cách và dấu chấm câu.

tôi đã cố gắng sử dụng phương pháp split(), đi qua tất cả các dấu chấm câu cùng một lúc, nhưng kết quả của tôi là không đúng:

>>> test='hello,how are you?I am fine,thank you. And you?' 
>>> test.split(' ,.?') 
['hello,how are you?I am fine,thank you. And you?'] 

Tôi thực sự biết làm thế nào để làm điều này với regexes đã có, nhưng tôi muốn tìm ra làm thế nào để làm điều đó bằng cách sử dụng split(). Xin vui lòng không cho tôi một giải pháp regex.

Answer 1

Đây là cách tốt nhất mà tôi có thể nghĩ đến mà không sử dụng các mô-đun lại:

"".join((char if char.isalpha() else " ") for char in test).split() 

Answer 2

Nếu bạn muốn chia một chuỗi dựa trên nhiều delimiters, như trong ví dụ của bạn, bạn sẽ cần phải sử dụng các mô-đun re bất chấp sự phản đối kỳ lạ của mình, như thế này:

>>> re.split('[?.,]', test) 
['hello', 'how are you', 'I am fine', 'thank you', ' And you', ''] 

Đó là có thể để nhận kết quả tương tự bằng cách sử dụng split, nhưng bạn cần phải gọi chia một lần cho mỗi ký tự và bạn cần lặp lại kết quả của lần chia trước đó. Này hoạt động nhưng nó u-g-l-y:

>>> sum([z.split() 
... for z in sum([y.split('?') 
... for y in sum([x.split('.') 
... for x in test.split(',')],[])], [])], []) 
['hello', 'how', 'are', 'you', 'I', 'am', 'fine', 'thank', 'you', 'And', 'you'] 

này sử dụng sum() để san bằng danh sách trả về bởi phiên trước.

Answer 3

Vì bạn không muốn sử dụng các mô-đun lại, bạn có thể sử dụng này:

test.replace(',',' ').replace('.',' ').replace('?',' ').split() 

Answer 4

bạn có thể viết một hàm để mở rộng việc sử dụng của .split():

def multi_split(s, seprators): 
    buf = [s] 
    for sep in seprators: 
     for loop, text in enumerate(buf): 
      buf[loop:loop+1] = [i for i in text.split(sep) if i] 
    return buf 

Và thử nó:

>>> multi_split('hello,how are you?I am fine,thank you. And you?', ' ,.?') ['hello', 'how', 'are', 'you', 'I', 'am', 'fine', 'thank', 'you', 'And', 'you']

này sẽ được rõ ràng hơn nhiều và có thể được sử dụng trong các tình huống khác.

Answer 5

Một phiên bản sửa đổi của câu trả lời larsks', nơi mà bạn không cần phải gõ tất cả các ký tự dấu mình:

import re, string 

re.split("[" + string.punctuation + "]+", test) 
['hello', 'how are you', 'I am fine', 'thank you', ' And you', ''] 

Answer 6

Xin lỗi cho necroing - chủ đề này đi lên như là kết quả đầu tiên cho tách phi regex của một câu. Thấy như tôi đã phải đưa ra một phương pháp không Python cụ thể cho sinh viên của tôi, và rằng thread này đã không trả lời câu hỏi của tôi, tôi nghĩ rằng tôi sẽ chia sẻ chỉ trong trường hợp.

Điểm của mã là sử dụng không có thư viện (và nó nhanh chóng trên các tập tin lớn):

sentence = "George Bernard-Shaw was a fine chap, I'm sure - who can really say?" 
alpha = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ" 
words = [] 
word = "" 
mode = 0 
for ch in sentence: 
    if mode == 1: 
     words.append(word) 
     word = "" 
     mode = 0 
    if ch in alpha or ch == "'" or ch == "-": 
     word += ch 
    else: 
     mode = 1 
words.append(word) 
print(words) 

Output:

['George', 'Bernard-Shaw', 'was', 'a', 'fine', 'chap', "I'm", 'sure', '-', 'who', 'can', 'really', 'say'] 

Tôi có nghĩa là chỉ bằng văn bản này trong khoảng nửa giờ đồng hồ vì vậy tôi chắc chắn rằng logic có thể được làm sạch.Tôi cũng đã thừa nhận rằng nó có thể yêu cầu logic bổ sung để đối phó với các dấu nhắc như dấu gạch nối chính xác, vì việc sử dụng chúng không nhất quán so với một cái gì đó giống như dấu phẩy ngược. Có bất kỳ mô-đun, thực sự, mà có thể làm điều này một cách chính xác không?