Đầu ra logstash cho Elasticsearch trên AWS EC2

Question

Tôi đang gặp sự cố khi định cấu hình đăng nhập thành đầu ra cho cụm Elasticsearch trên AWS EC2.

Tôi đang sử dụng phiên bản Logstash 1.1.5 và Elasticsearch 1.19.8.

Đây là cấu hình đầu ra của tôi trong logstash:

output { 
    stdout { debug => true debug_format => "json"} 
    elasticsearch { 
    cluster => "logstash-searcher" 
    node_name => "logstash-indexer" 
    } 
} 

và đây là cấu hình tương ứng trong elasticsearch.yml

cluster.name: logstash-searcher 
path.data: /usr/local/elasticsearch/data 
path.work: /usr/local/elasticsearch/tmp 
path.logs: /usr/local/elasticsearch/logs 
path.plugins: /usr/local/elasticsearch/plugins 
bootstrap.mlockall: true 
cloud.aws.region: eu-west-1 
cloud.aws.access_key: -- 
cloud.aws.secret_key: -- 
discovery.type: ec2 
discovery.ec2.host_type: public_ip 
discovery.ec2.groups: elasticsearch 
gateway.type: s3 
gateway.s3.bucket: es-logstash 

transport.tcp.port: 9300-9400 

tôi bắt đầu logstash sử dụng:

java -jar logstash-1.1.5-monolithic.jar agent -f shipper.conf 

Và sau một thời gian khởi động tôi nhận được những lỗi này:

Failed to index an event, will retry {:exception=>org.elasticsearch.discovery.MasterNotDiscoveredException: waited for [1m], 

Nghi ngờ của tôi là logstash cần sử dụng thứ gì đó như đám mây-aws cho khách hàng elasticsearch để có thể tìm cụm. Có ai có một cấu hình ví dụ hoạt động trên aws?

Answer 1

Vấn đề là thể hiện elasticsearch được nhúng của logstash đang sử dụng chế độ khám phá mặc định của nó. Vì cụm elasticsearch được cấu hình với cloud-aws, việc tìm kiếm elasticsearch của logstash cũng cần.

Để làm điều đó, bạn phải thêm tệp cấu hình elasticsearch.yml vào thư mục làm việc của logstash. Bạn cũng cần cung cấp plugin cloud-aws bằng cách thêm nó vào đường dẫn lớp.

java -cp logstash-1.1.7-monolithic.jar:cloud-aws/* logstash.runner agent -f shipper.conf 

Sử dụng cấu hình này Tôi đã quản lý để đăng nhập vào đầu ra cụm elasticsearch của mình.