Để tự mình kiểm tra, tôi đã lập chỉ mục tất cả các bài viết tiếng Anh trong Wikipedia (không có bất kỳ thông tin lịch sử nào) trong một phân đoạn elasticsearch duy nhất. Thư mục dữ liệu elasticsearch tăng lên ~ 42GB vào cuối bài kiểm tra. Bài học kinh nghiệm là:
- tốc độ lập chỉ mục sẽ không bị ảnh hưởng bởi kích thước phân đoạn. Lưu ý, tôi không cố gắng lập chỉ mục nhiều hơn một luồng cùng một lúc, nhưng tốc độ lập chỉ mục chuỗi đơn ít nhiều liên tục trong khoảng thời gian kiểm tra
- tốc độ truy vấn bị ảnh hưởng nặng nề bởi kích thước phân đoạn. Đặc biệt khi bạn cố gắng truy vấn với nhiều người dùng cùng một lúc. Các con số chính xác sẽ phụ thuộc rất nhiều vào sức mạnh của máy tính của bạn, cấu trúc dữ liệu và số lượng chuỗi đang truy vấn. Để cung cấp cho bạn một ý tưởng, với elasticsearch chạy trên máy dev của tôi, truy vấn phân đoạn Wikipedia với 25 người dùng đồng thời dẫn đến thời gian phản hồi trung bình là 3,5 giây (với các đỉnh đạt đến nửa phút).
Kết luận của tôi là phân đoạn quá lớn sẽ không làm cho elasticsearch thất bại chỉ từ lập chỉ mục. Truy vấn phân đoạn lớn có thể quá chậm đối với nhu cầu của bạn, hoặc, trong một số trường hợp nhất định, thậm chí phá vỡ elasticsearch với một OutOfMemoryException (ví dụ một truy vấn mặt lớn).
Câu trả lời này dựa trên điều tra của riêng tôi. toàn bộ câu chuyện có thể được đọc trên blog của tôi:
http://blog.trifork.com/2013/09/26/maximum-shard-size-in-elasticsearch/
http://blog.trifork.com/2013/11/05/maximum-shard-size-in-elasticsearch-revisited/
Nguồn
2013-11-05 15:38:08
Trong khi các liên kết này có thể trả lời câu hỏi, nó là tốt hơn để bao gồm các thành phần cốt lõi của câu trả lời ở đây và cung cấp liên kết để tham khảo. Câu trả lời chỉ liên kết có thể trở thành không hợp lệ nếu trang được liên kết thay đổi. – SysDragon
@SysDragon Đã chỉnh sửa câu trả lời của tôi. –
Khá tuyệt, +1 – SysDragon