Công ty của tôi đang cân nhắc việc sử dụng phương thức xử lý nhật ký khối lượng khá cao. Chúng tôi tin rằng việc xử lý nhật ký cần phải được phân phối, cả về khối lượng (khả năng mở rộng) và các lý do chuyển đổi dự phòng (độ tin cậy), và Flume có vẻ là sự lựa chọn hiển nhiên.Khả năng mở rộng tự động Flume và chuyển đổi dự phòng
Tuy nhiên, chúng tôi nghĩ rằng chúng ta phải thiếu điều gì đó hiển nhiên, bởi vì chúng tôi không thấy Flume cung cấp khả năng mở rộng tự động và chuyển đổi dự phòng như thế nào.
Tôi muốn xác định luồng cho mỗi dòng nhật ký, thực hiện điều A, sau đó truyền nó đi và làm điều B, sau đó truyền nó đi và làm điều C, v.v. có vẻ phù hợp với Flume . Tuy nhiên, tôi muốn có thể định nghĩa luồng này theo các thuật ngữ thuần túy, và sau đó về cơ bản nói, "Này Flume, đây là các máy chủ, đây là định nghĩa dòng chảy, đi làm việc!". Các máy chủ sẽ chết, (và các ops sẽ khởi động lại chúng), chúng ta sẽ thêm các máy chủ vào cluster, và gỡ bỏ những người khác, và flume sẽ chỉ hướng công việc tới bất cứ nút nào có dung lượng sẵn có.
Mô tả này là cách Hadoop map-reduce thực hiện khả năng mở rộng và chuyển đổi dự phòng, và tôi giả định rằng Flume sẽ giống nhau. Tuy nhiên, tài liệu hướng dẫn ngụ ý rằng tôi cần phải cấu hình thủ công các máy chủ vật lý mà mỗi nút logic chạy trên đó và cấu hình các kịch bản chuyển đổi dự phòng cụ thể cho mỗi nút.
Tôi có đúng không và Flume không phục vụ mục đích của chúng tôi hoặc tôi đã bỏ lỡ điều gì đó?
Cảm ơn sự giúp đỡ của bạn.
Bạn cũng có thể yêu cầu điều này trong danh sách gửi thư thông báo: [email protected] – PoorLuzer