Danh sách "mã thông báo" trên Lucene 3

Question

Tôi mới sử dụng Lucene, tôi bắt đầu học phiên bản 3 và có một điều tôi không hiểu (rõ ràng là vì tôi không có kinh nghiệm về chủ đề này).

Trong Lucene 2.9, nếu tôi muốn có danh sách mã thông báo, tôi sẽ tạo một ArrayList của lớp Token, ArrayList chẳng hạn. Điều đó khá trực quan đối với tôi và khái niệm về mã thông báo rất rõ ràng.

Hiện tại, việc sử dụng lớp Token bị từ chối vì lợi ích của API dựa trên thuộc tính, tôi có phải tạo lớp của riêng mình để đóng gói các thuộc tính tôi muốn không? Nếu có, không phải là gần như tái tạo lớp Token của Lucene sao?

Tôi đang làm một lớp để kiểm tra các trình phân tích và có danh sách các mã thông báo kết quả giúp dễ dàng kiểm tra hơn, tôi đoán vậy.

Bất kỳ trợ giúp nào sẽ được đánh giá cao;) Cảm ơn bạn!

Answer 1

Theo số Token Javadoc, "Mặc dù không cần thiết y sử dụng Mã thông báo nữa, với API TokenStream mới, nó có thể được sử dụng làm lớp tiện lợi triển khai tất cả Thuộc tính, đặc biệt hữu ích để dễ dàng chuyển từ cũ sang API TokenStream mới. "

Tôi khuyên bạn nên tiếp tục sử dụng Mã thông báo. Nó khớp với mô tả ở trên.

Answer 2

Tôi nghĩ rằng bạn có thể làm một cái gì đó như thế này:

TokenStream tkst = analyzer.tokenStream("field", "text");
Token token = tkst.getAttribute(Token.class);
while (tkst.incrementToken()) {
// Do something with token.
}

Các tài liệu thích hợp là trong gói phân tích: http://lucene.apache.org/java/3_0_2/api/all/org/apache/lucene/analysis/package-summary.html

Answer 3

Sử dụng các lớp TermAttribute:

TokenStream stream = analyzer.tokenStream("field", "text"); 
TermAttribute termAttr = stream.getAttribute(TermAttribute.class); 
while (stream.incrementToken()) { 
    String token = termAttr.term(); 
}