ShingleFilterFactory ảnh hưởng đến kích thước của phần được đánh dấu trong Solr

Thêm ShingleFilterFactory vào một loại trong solr (chỉ mục thời gian) sẽ dẫn đến thay đổi hành vi khi xếp hàng với tô sáng.ShingleFilterFactory ảnh hưởng đến kích thước của phần được đánh dấu trong Solr

Sample Text: "trong một con tàu một con rồng đang ở trong một hộp"

Without ShingleFilterFactory cả "trong" tokens sẽ được đánh dấu riêng biệt.

<em>in</em> a ship a dragon was <em>in</em> a box

Với toàn bộ phân khúc được trả lại dưới dạng đánh dấu đơn.

<em>in a ship a dragon was in</em>

Tại sao việc sử dụng 'ShingleFilterFactory' không ảnh hưởng đến đánh dấu?

EDIT:

Thêm thông tin giản đồ theo yêu cầu:

<fieldType name="text_general" class="solr.TextField" positionIncrementGap="100"> 
    <analyzer type="index"> 
    <charFilter class="solr.HTMLStripCharFilterFactory"/> 
    <tokenizer class="solr.StandardTokenizerFactory"/> 
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true"/> 
    <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/> 
    <filter class="solr.ShingleFilterFactory" maxShingleSize="2" outputUnigrams="true"/> 
    <filter class="solr.RemoveDuplicatesTokenFilterFactory"/> 
    <filter class="solr.LowerCaseFilterFactory"/> 
    </analyzer> 
    <analyzer type="query"> 
    <tokenizer class="solr.StandardTokenizerFactory"/> 
    <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" /> 
    <filter class="solr.LowerCaseFilterFactory"/> 
    </analyzer> 
</fieldType>

Sử dụng text_general, trong đó có các bộ lọc ván lợp, kết quả nổi bật trong các lĩnh vực lớn bất thường như đã mô tả ở trên.

Nguồn

2015-05-05 Th 0 mÄ s

khi bạn tham khảo văn bản mẫu, là văn bản được lập chỉ mục hoặc truy vấn hoặc cả hai? bạn có nhớ gửi lược đồ của trường đó không? – Emad