Bắt đầu từ tiếng Anh với Lucene

Question

Tôi đang xử lý một số văn bản tiếng Anh trong một ứng dụng Java và tôi cần phải chặn chúng. Ví dụ: từ văn bản "tiện nghi/tiện nghi", tôi cần phải nhận được "amenit".

Chức năng trông giống như:

String stemTerm(String term){ 
    ... 
} 

Tôi đã tìm thấy Lucene Analyzer, nhưng có vẻ quá phức tạp đối với những gì tôi cần. http://lucene.apache.org/java/2_2_0/api/org/apache/lucene/analysis/PorterStemFilter.html

Có cách nào để sử dụng nó để chặn các từ mà không xây dựng Máy phân tích không? Tôi không hiểu tất cả hoạt động kinh doanh của Analyser ...

EDIT: Tôi thực sự cần một sự lemmatization. Lucene có thể làm điều này không?

Answer 1

import org.apache.lucene.analysis.PorterStemmer; 
... 
String stemTerm (String term) { 
    PorterStemmer stemmer = new PorterStemmer(); 
    return stemmer.stem(term); 
} 

Xem here để biết thêm chi tiết. Nếu xuất phát là tất cả những gì bạn muốn làm, thì bạn nên sử dụng this thay vì Lucene.

Chỉnh sửa: Bạn nên viết hoa term trước khi chuyển đến stem().

Answer 2

Tại sao bạn không sử dụng "EnglishAnalyzer"? Thật đơn giản để sử dụng nó và tôi nghĩ rằng nó sẽ giải quyết vấn đề của bạn:

EnglishAnalyzer en_an = new EnglishAnalyzer(Version.LUCENE_34); 
QueryParser parser = new QueryParser(Version.LUCENE_34, "your_field", en_an); 
String str = "amenities"; 
System.out.println("result: " + parser.parse(str)); //amenit 

Hy vọng nó sẽ giúp bạn!

Answer 3

Ví dụ trước đây được áp dụng bắt nguồn cho một truy vấn tìm kiếm, vì vậy nếu bạn là thú vị để ngăn chặn một văn bản đầy đủ, bạn có thể thử như sau:

import java.io.*; 
import org.apache.lucene.analysis.*; 
import org.apache.lucene.analysis.tokenattributes.*; 
import org.apache.lucene.analysis.snowball.*; 
import org.apache.lucene.util.*; 
... 
public class Stemmer{ 
    public static String Stem(String text, String language){ 
     StringBuffer result = new StringBuffer(); 
     if (text!=null && text.trim().length()>0){ 
      StringReader tReader = new StringReader(text); 
      Analyzer analyzer = new SnowballAnalyzer(Version.LUCENE_35,language); 
      TokenStream tStream = analyzer.tokenStream("contents", tReader); 
      TermAttribute term = tStream.addAttribute(TermAttribute.class); 

      try { 
       while (tStream.incrementToken()){ 
        result.append(term.term()); 
        result.append(" "); 
       } 
      } catch (IOException ioe){ 
       System.out.println("Error: "+ioe.getMessage()); 
      } 
     } 

     // If, for some reason, the stemming did not happen, return the original text 
     if (result.length()==0) 
      result.append(text); 
     return result.toString().trim(); 
    } 

    public static void main (String[] args){ 
     Stemmer.Stem("Michele Bachmann amenities pressed her allegations that the former head of her Iowa presidential bid was bribed by the campaign of rival Ron Paul to endorse him, even as one of her own aides denied the charge.", "English"); 
    } 
} 

Lớp TermAttribute đã bị phản đối và sẽ không còn được hỗ trợ trong Lucene 4, nhưng các tài liệu không rõ ràng về những gì để sử dụng tại chỗ của nó.

Cũng trong ví dụ đầu tiên PorterStemmer không khả dụng dưới dạng lớp (ẩn) để bạn không thể sử dụng trực tiếp.

Hy vọng điều này sẽ hữu ích.

Answer 4

Ling pipe cung cấp một số mã thông báo. Chúng có thể được sử dụng để bắt đầu và ngừng loại bỏ từ. Một phương tiện đơn giản và hiệu quả của nó là bắt nguồn.

Answer 5

SnowballAnalyzer bị phản đối, bạn có thể sử dụng Lucene Porter Stemmer thay vì:

PorterStemmer stem = new PorterStemmer(); 
stem.setCurrent(word); 
stem.stem(); 
String result = stem.getCurrent(); 

Hope trợ giúp này!

Answer 6

Đây là cách bạn có thể sử dụng Snowball Stemmer trong JAVA:

import org.tartarus.snowball.ext.EnglishStemmer; 

EnglishStemmer english = new EnglishStemmer(); 
String[] words = tokenizer("bank banker banking"); 
for(int i = 0; i < words.length; i++){ 
     english.setCurrent(words[i]); 
     english.stem(); 
     System.out.println(english.getCurrent()); 
}