Hàng đợi bị trì hoãn/xử lý tin nhắn trong Storm

Question

Trong cấu trúc liên kết Storm của tôi, trong khi xử lý luồng, tôi muốn trì hoãn việc xử lý một số tin nhắn cho đến một số thời điểm trong tương lai. Một số lựa chọn hợp lý để thực hiện điều này là gì?

Cho đến nay, tôi đã nghĩ về những điều sau đây:

• Sử dụng Java Thread.sleep. (Tuy nhiên, dựa trên một số thảo luận, đây không phải là một cách khuyến khích sử dụng có hiệu quả nguồn lực của Storm.)
• Sử dụng một hàng đợi bị trì hoãn ...
  • Đặc biệt, hãy thử java.util.concurrent.DelayQueue.
  • Có các triển khai khác đáng thử không?
• Storm có một số API để trì hoãn thư mà tôi đã bỏ qua không?
• ZeroMQ có cung cấp API nhắn tin bị trì hoãn mà Storm (nếu được sửa đổi) có thể tận dụng được không?

Answer 1

Sử dụng hàng đợi tin nhắn bên ngoài để triển khai hàng đợi thời gian trễ.

Kể từ Storm là fault-tolerant và phân phối theo chiều ngang, nó sẽ làm cho tinh thần để chọn một hàng đợi thông điệp phù hợp với phong cách đó, chẳng hạn như:

• Kafka
• Amazon SQS
• RabbitMQ

Answer 2

Chúng tôi đang sử dụng các bộ đánh dấu tô pô để xử lý hàng loạt các bộ đang chờ xử lý. Về cơ bản, nó chỉ lưu trữ chúng trong bộ nhớ trên mỗi bộ bình thường và khi nó nhận được một tuple đánh dấu nó xử lý chúng thành lưu trữ/lập chỉ mục bằng cách sử dụng xử lý hàng loạt/pipelined. Chúng tôi cũng sử dụng redis trong trường hợp chúng tôi tăng đột biến về khối lượng, nếu khối lượng tăng đột biến phát hiện tất cả các bộ chuyển hướng đến bộ nhớ redis cục bộ trên mỗi máy chủ và sau đó được đẩy trở lại xử lý cấu trúc liên kết sau khi giảm âm lượng. Tình huống của chúng tôi có thể không áp dụng cho bạn, chỉ là 2c của tôi.