Xóa tất cả các bài viết, từ kết nối, v.v., từ một chuỗi trong Python

Question

Tôi có một danh sách chứa nhiều câu. Tôi muốn lặp qua danh sách, hoặc bỏ ra khỏi tất cả các câu từ như "và", "the", "a", "là", vv

Tôi cố gắng này:

def removearticles(text): 


articles = {'a': '', 'an':'', 'and':'', 'the':''} 
for i, j in articles.iteritems(): 
    text = text.replace(i, j) 
return text 

Như bạn có thể có thể nói, tuy nhiên, điều này sẽ loại bỏ "a" và "an" khi nó xuất hiện ở giữa từ. Tôi cần phải loại bỏ chỉ các trường hợp của các từ khi chúng được giới hạn bởi không gian trống, và không phải khi chúng nằm trong một từ. Cách hiệu quả nhất để thực hiện điều này là gì?

Answer 1

tôi sẽ đi cho regex, một cái gì đó như:

def removearticles(text): 
    re.sub('(\s+)(a|an|and|the)(\s+)', '\1\3', text) 

hoặc nếu bạn muốn loại bỏ các khoảng trắng hàng đầu cũng như:

def removearticles(text): 
    re.sub('\s+(a|an|and|the)(\s+)', '\2', text) 

Answer 2

Hãy thử một cái gì đó dọc theo dòng của

articles = ['and', 'a'] 
newText = '' 
for word in text.split(' '): 
    if word not in articles: 
     newText += word+' ' 
return newText[:-1] 

Answer 3

Có thể thực hiện bằng cách sử dụng regex. Lặp lại thông qua các chuỗi của bạn hoặc ('' .join danh sách và gửi nó như là một chuỗi) để regex sau đây.

>>> import re 
>>> rx = re.compile(r'\ban\b|\bthe\b|\band\b|\ba\b') 
>>> rx.sub(' ','a line with lots of an the and a baad') 
' line with lots of   baad' 

Answer 4

def removearticles(text): 


articles = {'a': '', 'an':'', 'and':'', 'the':''} 
rest = [] 
for word in text.split(): 
    if word not in articles: 
     rest.append(word) 
return ' '.join(rest) 

in điều hành của dict chạy nhanh hơn so với danh sách.

Answer 5

Điều này trông giống như một công việc NLP hơn là một cái gì đó bạn sẽ làm với regex thẳng. Tôi sẽ kiểm tra NLTK (http://www.nltk.org/) IIRC nó đi kèm với một kho chứa đầy các từ phụ như những người bạn đang cố gắng để thoát khỏi.