Elasticsearch OutOfMemoryError không gian heap Java

Question

Tôi đang chạy một 8 lõi, 32g RAM elasticsearch node với 5 mảnh, 400 triệu (nhỏ) tài liệu.

Tất cả mọi thứ hoạt động tốt cho đến khi tôi chạy một tìm kiếm agg, sau đó mảnh bắt đầu thất bại với:

java.lang.OutOfMemoryError: Java heap space 

Tôi có changed heap size với: export ES_HEAP_SIZE=16g (còn ES_MAX_MEM và ES_MIN_MEM với cùng)

cũng đã thay đổi yml tệp cho elasticsearch:

bootstrap.mlockall: true 

và thậm chí (khuyến cáo của cài đặt tài liệu): dịch vụ Restart

sudo sysctl -w vm.max_map_count=262144 

và vẫn không có tác động, vẫn java.lang.OutOfMemoryError: Java heap space

Bất kỳ lời đề nghị khác? khác hơn là không chạy truy vấn cấp cao?

truy vấn là:

https://localhost:9200/my_index_name/_search?search_type=count 
{ 
    "aggs": { 
    "distinct_hostname": { 
     "cardinality": { 
     "field": "hostname" 
     } 
    } 
    } 
} 

Answer 1

Tôi nghĩ tôi đã phát hiện ra lỗi. Tôi đã sử dụng 'dịch vụ' để chạy elasticsearch và do đó các biến môi trường của tôi đã bị tước bỏ. Tôi đã cập nhật các tập tin /etc/default/elasticsearch với các biến env correcct (cụ thể là ES_HEAP_SIZE=16g).

Cho đến nay ứng dụng này hoạt động tốt và ứng dụng không phải là lỗi.

Answer 2

Cách đúng để cập nhật Java kích thước heap cho Elasticsearch 5 không phải là EXPORT _JAVA_OPTIONS hoặc EXPORT ES_HEAP_SIZE hoặc sử dụng các tham số dòng lệnh. Theo như tôi có thể nói, tất cả những điều này bị ghi đè bởi tệp cấu hình trong thư mục cài đặt Elasticsearch của bạn, config/jvm.options. Để thay đổi các cài đặt này, bạn cần chỉnh sửa các dòng này trong tệp đó:

# Xms represents the initial size of total heap space 
# Xmx represents the maximum size of total heap space 

-Xms2g 
-Xmx2g