Làm cách nào để cụm từ khóa công cụ tìm kiếm?

Question

Từ Google Analytics Tôi có danh sách từ khóa (dài) mà mọi người đã sử dụng trong công cụ tìm kiếm để tìm trang web của tôi. Tôi muốn tìm những 'từ khóa lõi', giả dụ:

java online training 
learning java 
scala training 
training for java 
online training java 
learn scala programming 

Kết quả lý tưởng sẽ là: 'java', 'đào tạo trực tuyến', 'đào tạo', 'scala' và 'học'.

Khó khăn có vẻ là phát hiện cụm từ hoàn chỉnh, bỏ qua các từ phổ biến (cho) và xử lý các biến thể (học hỏi).

Có thư viện nào có thể làm điều đó (tốt nhất cho JVM) không? Hoặc là có một thuật toán phù hợp tôi có thể thực hiện bản thân mình?

Answer 1

Đây là vấn đề về từ khóa hoặc trích xuất từ ​​khóa. Tôi đã thực hiện một tìm kiếm và nó bật lên Kea, có vẻ là rất nhiều những gì bạn muốn.

Bạn có thể thực hiện một giải pháp ngây thơ bởi các thuật toán sau đây:

• tạo ra một danh sách các ngrams trong tài liệu bằng cụm từ dài mà bạn muốn (chọn một giới hạn cụm từ dài tùy ý, như 3 hoặc 4)
• đặt ngram thành một lặp Multiset
• trên các mục của MultiSet theo thứ tự mức độ của họ hoặc đếm, có lẽ với một cắt tùy ý

Như bạn đã nói, điều này sẽ có vấn đề với các từ dừng. Bạn có thể làm một cái gì đó đơn giản như có một từ điển của stopwords, hoặc bạn có thể làm một cái gì đó như Term Frequency-Inverse Document Frequency mà có thể giúp bạn tự động nhận ra các thuật ngữ rất thường xuyên. KEA sẽ làm điều này cho bạn, tốt nhất là nên xem xét điều đó trước tiên.

Hy vọng điều đó sẽ hữu ích!