Hàng đợi công việc/tin nhắn có thể mở rộng đơn giản với độ trễ

Question

Tôi cần thiết lập hàng đợi công việc/tin nhắn với tùy chọn đặt độ trễ cho tác vụ sao cho công việc miễn phí không được nhân viên miễn phí tiếp nhận, nhưng sau một thời gian nhất định (có thể thay đổi từ nhiệm vụ này sang tác vụ khác). Tôi nhìn vào một vài giải pháp xếp hàng linux (rabbitmq, gearman, memcacheq), nhưng không ai trong số họ dường như cung cấp tính năng này ra khỏi hộp.

Bất kỳ ý tưởng nào về cách tôi có thể đạt được điều này?

Cảm ơn!

Answer 1

Tôi đã sử dụng BeanstalkD để có hiệu ứng tuyệt vời, bằng cách sử dụng tùy chọn trễ khi chèn công việc mới để chờ vài giây cho đến khi mặt hàng đó có sẵn để được đặt trước.

Nếu bạn đang trì hoãn lâu hơn (hơn 30 giây), hoặc công việc có phần quan trọng để thực hiện (abeit later), thì nó cũng có hệ thống ghi nhị phân để bất kỳ sự cố daemon nào vẫn có hồ sơ của công việc. Điều đó nói rằng, tôi đã đặt hàng trăm ngàn công việc trực tiếp thông qua các trường hợp Beanstalkd và những công nhân mà tôi đã viết luôn có nhiều vấn đề hơn so với máy chủ.

Answer 2

Bạn có thể sử dụng nhà môi giới AMQP (như RabbitMQ) và tôi có một "đại lý" (ví dụ: quy trình python được xây dựng bằng pyton-amqplib) nằm trên sàn trao đổi chặn các thông điệp cụ thể (cụ thể routing_key); khi bộ hẹn giờ đã trôi qua, hãy gửi lại tin nhắn trên trao đổi với routing_key khác.

Tôi nhận thấy điều này có nghĩa là "dịch/ánh xạ" routing keys nhưng nó hoạt động. Làm việc với RabbitMQ và python-amqplib rất đơn giản.