Tạo hàng đợi động với Celery

Question

Đây là kịch bản của tôi:

Khi người dùng đăng nhập vào trang web của mình, tôi xếp hàng loạt nhiệm vụ cho người dùng cụ thể (thường mỗi tác vụ mất 100 giây) và có 100 nhiệm vụ Mỗi người dùng). Các nhiệm vụ này được xếp hàng đợi đến hàng đợi Celery mặc định và tôi có 100 công nhân đang chạy. Tôi sử dụng các ổ cắm web để hiển thị tiến trình thời gian thực của người dùng khi các tác vụ hoàn thành trên chương trình phụ trợ. Cuộc sống là tốt nếu tôi chỉ có 1 hoặc 2 người dùng hoạt động.

Bây giờ nếu một vài người dùng đồng thời đăng nhập vào trang web của tôi, người dùng thứ hai sẽ được xếp hàng phía sau người dùng ban đầu và nhiệm vụ của họ bị bỏ đói (vì tất cả các tác vụ đều đi đến cùng một hàng đợi). Suy nghĩ của tôi là tạo hàng đợi động cho mỗi người dùng để đảm bảo tính công bằng. Tuy nhiên, theo tài liệu của Celery (http://docs.celeryproject.org/en/latest/userguide/routing.html#defining-queues), có vẻ như tôi cần xác định hàng đợi tĩnh.

Bất kỳ đề xuất nào về thực tiễn tốt nhất để sử dụng cần tây cho kịch bản của tôi?

Answer 1

Bạn có thể gán động một nhiệm vụ cho một Hàng đợi khi chạy khi gọi nó tham chiếu calling.html#routing-options. Điều này sẽ hoạt động nếu bạn đã bật CELERY_CREATE_MISSING_QUEUES.

Answer 2

http://docs.celeryproject.org/en/latest/userguide/workers.html#queues

celery -A proj control add_consumer foo -d worker1.local 

Cùng thể được thực hiện tự động bằng cách sử dụng app.control.add_consumer) phương pháp (:

app.control.add_consumer('foo', reply=True) 
[{u'worker1.local': {u'ok': u"already consuming from u'foo'"}}] 

app.control.add_consumer('foo', reply=True, 
destination=['worker1@example.com'])