Hàng đợi Laravel Artisan - sử dụng CPU cao

Question

Tôi đã thiết lập hàng đợi trong Laravel cho các kịch bản xử lý của mình. Tôi đang sử dụng beanstalkd và supervisord. Có 6 loại ống khác nhau cho các loại chế biến khác nhau.

Vấn đề là đối với mỗi ống, nghệ nhân liên tục sinh sản công nhân mỗi giây. Mã công nhân dường như ngủ trong 1 giây và sau đó chủ đề công nhân sử dụng CPU 7-15%, nhân này bằng 6 ống ... và tôi muốn có nhiều công nhân cho mỗi ống .. cpu của tôi đang được ăn lên.

Tôi đã thử thay đổi giấc ngủ 1 giây thành 10 giây. Điều này sẽ giúp nhưng vẫn có một tăng đột biến CPU lớn mỗi 10 giây khi công nhân thức dậy. Tôi thậm chí không xử lý bất cứ điều gì tại thời điểm này bởi vì hàng đợi là hoàn toàn trống rỗng, nó chỉ đơn giản là các công nhân đang tìm kiếm một cái gì đó để làm.

Tôi cũng đã thử nghiệm để xem việc sử dụng CPU của Laravel khi tôi làm mới trang trong một trình duyệt và đã lơ lửng khoảng 10% .. Tôi đang ở trên một phiên bản rackspace thấp ngay bây giờ để có thể giải thích nó nhưng vẫn .. Nó có vẻ như các công nhân quay lên một cá thể laravel mỗi khi họ thức dậy.

Không có cách nào để giải quyết vấn đề này? Tôi có phải bỏ nhiều tiền vào một máy chủ đắt tiền hơn để có thể nghe xem một công việc đã sẵn sàng chưa?

EDIT:

tìm thấy một giải pháp ... đó là để không sử dụng hàng đợi thợ thủ công: người nghe hoặc đợi: làm việc Tôi nhìn vào mã hàng đợi và có vẻ không phải là một con đường xung quanh vấn đề này , nó đòi hỏi laravel để tải mỗi khi một công nhân kiểm tra nhiều việc phải làm.

Thay vào đó tôi đã viết trình xử lý riêng của mình bằng cách sử dụng pheanstalk. Tôi vẫn đang sử dụng laravel để đẩy mọi thứ vào hàng đợi, sau đó trình xử lý tùy chỉnh của tôi phân tích dữ liệu hàng đợi và sau đó kích hoạt lệnh thủ công để chạy. Bây giờ thời gian sử dụng CPU của tôi cho người nghe của tôi là dưới% 0, thời gian duy nhất cpu của tôi bắn lên bây giờ là khi nó thực sự tìm thấy công việc để làm và sau đó kích hoạt lệnh, tôi tốt với điều đó.

Answer 1

Tôi gặp vấn đề tương tự.

Nhưng tôi đã tìm thấy một giải pháp khác. Tôi đã sử dụng công nhân thủ công, nhưng tôi đã sửa đổi thời gian 'xem'. Theo mặc định (từ laravel) lần này được hardcoded bằng không, tôi đã thay đổi giá trị này thành 600 (giây). Xem hồ sơ: 'vendor/laravel/framework/src/Illuminate/Queue/BeanstalkdQueue.php' và chức năng 'public function pop ($ queue = null)'

Vì vậy, bây giờ làm việc cũng được nghe hàng đợi trong 10 phút. Khi nó không có một công việc, nó thoát, và người giám sát đang khởi động lại nó. Khi nó nhận được một công việc, nó thực thi nó sau khi nó tồn tại, và người giám sát đang khởi động lại nó.

==> Không bỏ phiếu nữa!

ghi chú:

• nó không làm việc cho iron.io hay đợi người khác.
• nó có thể không hoạt động khi bạn muốn 1 nhân viên chấp nhận công việc từ hơn 1 hàng đợi.

Answer 2

Theo điều này commit, bây giờ bạn có thể đặt tùy chọn mới thành queue:listen "--sleep={int}", điều này sẽ cho phép bạn tinh chỉnh thời gian chờ trước khi bỏ phiếu cho công việc mới.
Ngoài ra, mặc định đã được đặt thành 3 thay vì 1.

Answer 3

Sự cố của CPU cao là do công nhân tải khung hoàn chỉnh mỗi lần kiểm tra công việc trong hàng đợi. Trong laravel 4.2, bạn có thể sử dụng php artisan queue:work --daemon. Điều này sẽ tải khung một lần và việc kiểm tra/xử lý công việc xảy ra bên trong một vòng lặp while, cho phép CPU thở dễ dàng. Bạn có thể tìm thêm thông tin về nhân viên daemon trong tài liệu chính thức: http://laravel.com/docs/queues#daemon-queue-worker.

Tuy nhiên, lợi ích này đi kèm với một nhược điểm - bạn cần được chăm sóc đặc biệt khi triển khai mã và bạn phải chăm sóc các kết nối cơ sở dữ liệu. Thông thường, các kết nối cơ sở dữ liệu chạy dài bị ngắt kết nối.