Thuật toán để tính toán mức độ liên quan của từ khóa với văn bản ngắn (50 - 100 từ)

Question

Tôi muốn tính mức độ liên quan của từ khóa với văn bản mô tả ngắn. Điều gì sẽ là cách tiếp cận tốt nhất về hiệu quả và dễ thực hiện. Tôi đang sử dụng C + +?

Answer 1

Giải pháp đơn giản: Đếm lần xuất hiện của từ trong văn bản.

Để làm một công việc tốt, mặc dù là một vấn đề khó khăn mà các công ty như Google đã làm việc trong nhiều năm. Nếu có thể, bạn có thể muốn có một cái nhìn tại using their technology

Để mở rộng, hãy thử như sau:

• Sử dụng một cuốn từ điển (ví dụ WordNet để thay thế tất cả các từ đồng nghĩa với một từ chung
• Dò tìm các từ tương tự sử dụng Levenshtein distance

Điều đó vẫn chỉ giúp bạn có được cho đến nay. Bạn sẽ cần phải thực hiện một số quy trình xử lý ngôn ngữ tự nhiên để thực sự hiểu được mô tả về phân biệt giữa nhiều tex ts chứa từ khóa cùng số lần.

Answer 2

Tham khảo những câu hỏi Stack Overflow trước:

• What are Useful Ranking Algorithms for Documents without Links (e.g. PDF, MS Documents, etc…)?

• Algorithm for generating a 'top list' using word frequency.