Điểm REDIS trong ngăn xếp ELK là gì?

Question

Tôi hiện đang có kiến ​​trúc với filebeat là người gửi nhật ký, gửi nhật ký để ghi nhật ký trình lập chỉ mục stash và sau đó đến tìm kiếm được quản lý đàn hồi trong AWS. Do các kết nối TCP liên tục, tôi không thể tải số dư bằng cách sử dụng các cá thể lập chỉ mục stash nhiều bản ghi của AWS ELB vì các filebeats luôn chọn các cá thể và gửi nó ở đó. Vì vậy, tôi quyết định sử dụng redis. Bây giờ nhìn thấy khó khăn như thế nào là để mở rộng quy mô và làm cho nó có sẵn cao compontent trong ngăn xếp ELK Tôi muốn hỏi những gì thậm chí là điểm của redis. Tôi đọc hàng triệu lần nó hoạt động như một bộ đệm, nhưng nếu các filebeats ngừng gửi nhật ký để logstash nếu logstash không thể xử lý tải, tại sao chúng ta thậm chí cần một bộ đệm. Filebeat đủ thông minh để biết dừng việc gửi nhật ký. Logstash đủ thông minh để ngừng gửi nhật ký cho tìm kiếm đàn hồi nếu tìm kiếm đàn hồi giảm. Vì vậy, các đường ống dừng lại. Tôi thực sự không hiểu về redis hoạt động như một bộ đệm trong mọi kiến ​​trúc ELK tiêu chuẩn.

Answer 1

Redis hoặc Kafka hoặc XYZ có thể được sử dụng làm buffer in the ELK stack như bạn đã nhận thấy đúng.

Nhân viên ES đã xuất bản một số blog post hôm qua về việc sử dụng Kafka trong đường ống, nhưng nó cũng có thể là Redis hoặc XYZ. Họ làm cho một điểm tốt về KHI một bộ đệm như vậy có thể cần thiết và khi nó không phải là.

Đó là một ý tưởng tốt để có một bộ đệm để

1. gai xử lý sự kiện
2. thỏa thuận với một khả năng không thể truy cập ES cụm

Nếu bạn không lường trước những hành vi như vậy , tức là bạn biết

1. sự kiện của bạn sẽ luôn có cùng tốc độ và/hoặc
2. bạn không hài lòng với nhật ký được vận chuyển sau này trong trường hợp bạn cần nâng cấp cụm ES của mình

... thì bạn không cần bộ đệm như vậy. Hơn nữa, đó sẽ là một phần nhỏ của phần mềm bạn cần để quản lý, theo dõi và duy trì.

Khi nói đến hệ sinh thái ngăn xếp đàn hồi, không có cách tiếp cận một kích thước phù hợp, nó luôn phụ thuộc vào trường hợp sử dụng và yêu cầu chính xác của bạn. Bạn cần phải tự hỏi mình điều gì là quan trọng với bạn, hệ thống của bạn và người dùng của bạn và sau đó thiết kế giải pháp của bạn cho phù hợp.