2012-07-05 70 views
6

Tôi đang thêm hàng tỷ hàng vào chỉ mục Lucene, mỗi hàng gần như là 6000 byte. Có giới hạn về số hàng tối đa có thể được thêm vào Lucene Index không? Bao nhiêu không gian sẽ có hàng tỷ 6000 byte chiếm trên Lucene Index. Có giới hạn nào cho kích thước này không?Giới hạn không gian của Lucene Index là gì?

Trả lời

7

Xem Lucene tài liệu cho limitations của nó, nó không thể có nhiều hơn

  • ~ 274 tỷ ngữ riêng biệt,
  • ~ 2,1 tỷ tài liệu.

Đối với các tập dữ liệu lớn như vậy, thường chỉ nên sử dụng Lucene cho chỉ mục đảo ngược của nó và lưu trữ nội dung thực tế của tài liệu ở nơi khác. Bạn có thể mong đợi kích thước chỉ mục là ~ 30% kích thước của tài liệu gốc của tài liệu (miễn là đây là tài liệu thông thường, tài liệu được tạo bằng máy tính với nhiều cụm từ duy nhất sẽ tạo ra chỉ mục lớn hơn nhiều).

+1

phần này biến mất khỏi tài liệu có thể không còn bất kỳ giới hạn nào về các cụm từ duy nhất http://lucene.apache.org/core/6_5_0/core/org/apache/lucene/codecs/lucene62/package-summary.html – yura

Các vấn đề liên quan