Làm thế nào để sử dụng mẫu nexk regex để trích xuất một đoạn cụm từ cụ thể?

Question

Tôi đã viết regex sau vào thẻ cụm từ khuôn mẫu nhất định

pattern = """ 
     P2: {<JJ>+ <RB>? <JJ>* <NN>+ <VB>* <JJ>*} 
     P1: {<JJ>? <NN>+ <CC>? <NN>* <VB>? <RB>* <JJ>+} 
     P3: {<NP1><IN><NP2>} 
     P4: {<NP2><IN><NP1>} 

    """ 

mô hình này sẽ tag một cách chính xác một cụm từ như:

a = 'The pizza was good but pasta was bad' 

và cung cấp cho các đầu ra mong muốn với 2 giai đoạn:

1. pizza là tốt
2. mì ống là xấu

Tuy nhiên, nếu câu của tôi là một cái gì đó như:

a = 'The pizza was awesome and brilliant' 

trận đấu chỉ có cụm từ:

'pizza was awesome' 

thay vì mong muốn:

'pizza was awesome and brilliant' 

Làm thế nào để kết hợp mẫu regex cho ví dụ thứ hai của tôi?

Answer 1

Trước hết, chúng ta hãy nhìn vào các thẻ POS rằng NLTK cho:

>>> from nltk import pos_tag 
>>> sent = 'The pizza was awesome and brilliant'.split() 
>>> pos_tag(sent) 
[('The', 'DT'), ('pizza', 'NN'), ('was', 'VBD'), ('awesome', 'JJ'), ('and', 'CC'), ('brilliant', 'JJ')] 
>>> sent = 'The pizza was good but pasta was bad'.split() 
>>> pos_tag(sent) 
[('The', 'DT'), ('pizza', 'NN'), ('was', 'VBD'), ('good', 'JJ'), ('but', 'CC'), ('pasta', 'NN'), ('was', 'VBD'), ('bad', 'JJ')] 

(Lưu ý: Trên đây là những kết quả từ NLTK v3.1 pos_tag, phiên bản cũ có thể khác nhau)

Những gì bạn muốn chụp về cơ bản là:

• NN VBD JJ CC JJ
• NN VBD JJ

Vì vậy, hãy bắt chúng với những mẫu:

>>> from nltk import RegexpParser 
>>> sent1 = ['The', 'pizza', 'was', 'awesome', 'and', 'brilliant'] 
>>> sent2 = ['The', 'pizza', 'was', 'good', 'but', 'pasta', 'was', 'bad'] 
>>> patterns = """ 
... P: {<NN><VBD><JJ><CC><JJ>} 
... {<NN><VBD><JJ>} 
... """ 
>>> PChunker = RegexpParser(patterns) 
>>> PChunker.parse(pos_tag(sent1)) 
Tree('S', [('The', 'DT'), Tree('P', [('pizza', 'NN'), ('was', 'VBD'), ('awesome', 'JJ'), ('and', 'CC'), ('brilliant', 'JJ')])]) 
>>> PChunker.parse(pos_tag(sent2)) 
Tree('S', [('The', 'DT'), Tree('P', [('pizza', 'NN'), ('was', 'VBD'), ('good', 'JJ')]), ('but', 'CC'), Tree('P', [('pasta', 'NN'), ('was', 'VBD'), ('bad', 'JJ')])]) 

---

Vì vậy, đó là "lừa dối" bởi hardcoding !!!

Hãy quay trở lại với mô hình POS:

• NN VBD JJ CC JJ
• NN VBD JJ

có thể được đơn giản hóa để:

• NN VBD JJ (CC JJ)

Vì vậy, bạn có thể sử dụng toán tử tùy chọn trong regex, ví dụ::

>>> patterns = """ 
... P: {<NN><VBD><JJ>(<CC><JJ>)?} 
... """ 
>>> PChunker = RegexpParser(patterns) 
>>> PChunker.parse(pos_tag(sent1)) 
Tree('S', [('The', 'DT'), Tree('P', [('pizza', 'NN'), ('was', 'VBD'), ('awesome', 'JJ'), ('and', 'CC'), ('brilliant', 'JJ')])]) 
>>> PChunker.parse(pos_tag(sent2)) 
Tree('S', [('The', 'DT'), Tree('P', [('pizza', 'NN'), ('was', 'VBD'), ('good', 'JJ')]), ('but', 'CC'), Tree('P', [('pasta', 'NN'), ('was', 'VBD'), ('bad', 'JJ')])]) 

---

lẽ Hầu hết các bạn đang sử dụng các tagger cũ, đó là lý do tại sao mô hình của bạn là khác nhau nhưng tôi đoán bạn xem làm thế nào bạn có thể nắm bắt những cụm từ bạn cần sử dụng ví dụ trên.

Các bước thực hiện:

• Thứ nhất, kiểm tra các mô hình POS sử dụng pos_tag
• Sau đó khái quát mô hình và đơn giản hóa chúng
• Sau đó đặt chúng vào RegexpParser