Sự khác biệt giữa WhitespaceTokenizerFactory và StandardTokenizerFactory

Question

Tôi mới dùng Solr. Bằng cách đọc wiki của Solr, tôi không hiểu sự khác biệt giữa WhitespaceTokenizerFactory và StandardTokenizerFactory. Sự khác biệt thực sự của họ là gì?

Answer 1

Chúng khác nhau về cách chúng phân tách văn bản được phân tích thành mã thông báo.

Các StandardTokenizer thực hiện điều này dựa trên như sau (lấy từ Lucene javadoc):

• Tách lời tại ký tự chấm câu, loại bỏ dấu chấm câu. Tuy nhiên, dấu chấm không được theo sau bởi khoảng trắng được coi là một phần của mã thông báo.
• Tách từ bằng dấu gạch ngang, trừ khi có số trong mã thông báo , trong trường hợp đó toàn bộ mã thông báo được hiểu là một sản phẩm số và không được chia nhỏ.
• Nhận dạng địa chỉ email và internet tên máy chủ dưới dạng một mã thông báo.

Các WhitespaceTokenizer thực hiện điều này dựa trên ký tự khoảng trắng:

Một WhitespaceTokenizer là một tokenizer rằng chia văn bản ở khoảng trắng. Trình tự liên tiếp của các thẻ ký tự không phải khoảng trắng.

Bạn nên chọn mã thông báo phù hợp nhất với đơn đăng ký của mình. Trong mọi trường hợp, bạn phải sử dụng cùng một trình phân tích/mã thông báo để lập chỉ mục và tìm kiếm!