Máy phân tích lucene nào có thể được sử dụng để xử lý văn bản tiếng Nhật đúng cách? Nó có thể xử lý Kanji, Hiragana, Katakana, Romaji, và bất kỳ sự kết hợp nào của họ.Máy phân tích lucene nào có thể được sử dụng để xử lý văn bản tiếng Nhật?
tôi thấy lucene-gosen trong khi làm một tìm kiếm cho mục đích riêng của tôi:
dụ của họ trông khá đàng hoàng, nhưng tôi đoán đó là loại điều mà cần thử nghiệm rộng rãi. Tôi cũng lo lắng về chính sách tương thích ngược của họ (hay đúng hơn là thiếu hoàn toàn.)
Bạn có lẽ nên xem gói CJK nằm trong vùng contrib của Lucene. Có một máy phân tích và một bộ mã hóa đặc biệt để giao dịch với Trung Quốc, Nhật Bản và Hàn Quốc.
Trình phân tích CJK dường như là một cách ngây thơ để tìm kiếm mọi thứ, và từ kinh nghiệm trước đây, dường như không cung cấp kết quả tìm kiếm. Có điều gì tôi cần làm đặc biệt để làm cho CJK Analyzer hoạt động như sửa đổi một số trọng lượng hay gì đó không? Cảm ơn –
Tôi chưa bao giờ sử dụng máy phân tích CJK vì vậy tôi không thể nói. Bạn có thể thử yêu cầu trên danh sách gửi thư Lucene (http://lucene.apache.org/java/docs/mailinglists.html#Java User List) để được trợ giúp cụ thể hơn - có những người rất có kinh nghiệm với Lucene trong danh sách đó. – adrianbanks
Chúng tôi không sử dụng lucene-gosen, nhưng chúng tôi đã sử dụng gosen. Vì vậy, tôi chấp nhận câu trả lời này (vì nó đủ gần và dự án trông thú vị). CJK làm một tìm kiếm rất ngây thơ trong đó nó chỉ phù hợp với nhân vật và không phải từ không giống như gosen (trong đó sử dụng một từ điển để phân tích cú pháp thích hợp). –