Thuật toán NLP để 'điền' các cụm từ tìm kiếm

Question

Tôi đang cố viết một thuật toán (mà tôi giả định sẽ dựa vào các kỹ thuật xử lý ngôn ngữ tự nhiên) để 'điền vào' danh sách cụm từ tìm kiếm. Có lẽ có một cái tên cho loại thứ mà tôi không biết. Loại vấn đề này được gọi là gì và loại thuật toán nào sẽ cho tôi hành vi sau đây?

Input:

docs = [ 
    "I bought a ticket to the Dolphin Watching cruise", 
    "I enjoyed the Dolphin Watching tour", 
    "The Miami Dolphins lost again!", 
    "It was good going to that Miami Dolphins game" 
    ], 
    search_term = "Dolphin" 

Output:

["Dolphin Watching", "Miami Dolphins"] 

Nó cơ bản nên hình dung ra rằng nếu "Dolphin" xuất hiện ở tất cả, đó là hầu như luôn luôn hoặc trong bigrams "Dolphin Watching" hoặc "Miami Cá heo ". Các giải pháp trong Python được ưu tiên.

Answer 1

Về cơ bản, nên tìm hiểu rằng nếu "Dolphin" xuất hiện, hầu như luôn luôn là trong "Big Watch" Dolphin hoặc "Miami Dolphins".

Âm thanh như bạn muốn xác định collocations rằng Dolphin xảy ra trong. Có nhiều phương pháp khác nhau để phát hiện sắp xếp thứ tự, phổ biến nhất là để tính toán point-wise mutual information (PMI) giữa các điều khoản trong corpus của bạn, sau đó chọn các điều khoản với PMI cao nhất cho Dolphin. Bạn có thể nhớ PMI từ sentiment analysis algorithm mà tôi đã đề xuất trước đó.

Việc triển khai Python của các phương pháp tìm kiếm sắp xếp khác nhau được bao gồm trong NLTK là nltk.collocations. Khu vực này được bao phủ trong một số độ sâu trong Manning and Schütze's FSNLP (1999, nhưng vẫn còn hiện tại cho chủ đề này).

Answer 2

Tôi đã sử dụng Natural Language Toolkit trong lớp NLP của mình ở trường đại học với thành công tốt. Tôi nghĩ rằng nó có một số taggers có thể giúp bạn xác định đó là danh từ, và giúp bạn phân tích nó thành một cây. Tôi không nhớ nhiều, nhưng tôi sẽ bắt đầu ở đó.