Khi nào nhà lãnh đạo thay đổi kafka?

Question

Tôi đang điều hành các dịch vụ của mình hoạt động với kafka trong một năm và không có thay đổi tự phát nào của nhà lãnh đạo xảy ra. Nhưng trong 2 tuần qua bắt đầu xảy ra khá thường xuyên. Kafka đăng nhập vào rằng:

• [2015/09/27 15: 35: 14.826] INFO [ReplicaFetcherManager về môi giới 2] Removed fetcher cho phân vùng [myTopic] (kafka.server.ReplicaFetcherManager)
• [ 2015-09-27 15: 35: 14,830] INFO Cắt bớt nhật ký myTopic-0 để bù đắp 11520979. (kafka.log.Log)
• [2015-09-27 15: 35: 14,845] CẢNH BÁO [Trình quản lý bản sao trên môi giới 2 ]: Tìm nạp yêu cầu có id tương quan 713276 từ máy khách ReplicaFetcherThread-0-2 trên phân vùng [myTopic, 0] không thành công do Leader không phải cục bộ cho phân vùng [myTopic, 0] trên môi giới 2 (kafka.server.ReplicaManager)
• [2015-09-27 15: 35: 14,857] CẢNH BÁO [Trình quản lý bản sao trên môi giới 2]: Yêu cầu tìm nạp có id tương quan 256685 từ trình sao chép máy khách-1 trên phân vùng [myTopic, 0] không thành công do Leader không phải cục bộ cho phân vùng [myTopic , 0] trên nhà môi giới 2 (kafka.server.ReplicaManager)
• [2015-09-27 15: 35: 20,171] THÔNG TIN [ReplicaFetcherManager trên môi giới 2] Đã xóa trình tìm nạp cho phân vùng [myTopic, 0] (kafka.server.ReplicaFetcherManager)

Điều gì có thể khiến nhà lãnh đạo chuyển đổi? Nếu có thông tin trong một số tài liệu kafka - xin vui lòng - chỉ cần trỏ liên kết. Tôi đã không tìm thấy.

---

Cấu hình hệ thống

Kafka phiên bản: kafka_2.10-0.8.2.1

os: Red Hat Enterprise Linux Server phát hành 6,5 (Santiago)

server.properties (khác với mặc định):

• broker.id = 001
• socket.send.buffer.bytes = 1048576
• socket.receive.buffer.bytes = 1048576
• socket.request.max.bytes = 104857600
• log.flush.interval.messages = 10000
• log .flush.interval.ms = 1.000
• log.retention.bytes = -1
• controlled.shutdown.enable = true
• auto.create.topics.enable = false

Answer 1

Có vẻ như nhà môi giới dẫn đầu đã ngừng hoạt động cho phân vùng đó. Nó có thể là dữ liệu directroy (log.dirs) được cấu hình trong server.properties đã hết dung lượng và người môi giới không thể chứa. Ngoài ra, yếu tố nhân rộng của chủ đề và quy mô của các nhà môi giới là gì?

Answer 2

Tôi giả sử bạn có một chủ đề và một phân vùng có hệ số nhân bản là 2. Đây không phải là cấu hình tốt cho hiệu suất và người tiêu dùng Kafka tối ưu.

Nhật ký của bạn không đủ rõ ràng để chuyển đổi nhà lãnh đạo. Vấn đề lớn trong chủ đề của bạn có thể là chỉ có một nhà lãnh đạo do phân vùng duy nhất.Bây giờ, tệp duy nhất trong nhật ký của bạn ngày càng lớn hơn. Kafka nội bộ tái cân bằng ở một mức độ nào đó (chi tiết không được xác nhận). Đó có thể là lý do cho chuyển đổi lãnh đạo của bạn. Nhưng tôi không chắc chắn.

Cũng trong dòng đăng nhập thứ hai của bạn, nó nói rằng một số nhật ký bị cắt bớt. Bạn có thể vui lòng đi mặc dù các bản ghi chi tiết và kiểm tra là điều này xảy ra chỉ sau khi cắt ngắn?

Như bạn đã đề cập, bạn đã kiểm tra tệp thư mục nhật ký Kafka của mình và kích thước của chúng. Vui lòng chạy mô tả khi bạn gặp sự cố này. Các nhà lãnh đạo chuyển đổi sẽ phản ánh ở đây là tốt. Hoặc nếu bạn có thể thiết lập một số trang tổng quan sẽ hiển thị người dẫn đầu trong thời gian qua. Sau đó, bạn sẽ dễ dàng tìm ra nguyên nhân gốc rễ.

bin/kafka-topics.sh --describe --zookeeper Zookeeperhost:Port --topic TopicName 

Đề xuất: tôi sẽ đề nghị bạn tạo chủ đề mới với nhiều phân vùng hơn (đọc tài liệu Kafka để có ý tưởng tốt về số lượng phân vùng tối ưu) và bắt đầu viết. Hoặc bạn có thể kiểm tra, cách thay đổi phân vùng cho chủ đề hiện tại.

Điều cuối cùng: Chuyển đổi nhà lãnh đạo có gây ra một số vấn đề trong Khách hàng của bạn hoặc bạn chỉ lo lắng về cảnh báo?