Process CeleryBeat tiêu thụ tất cả các bộ nhớ OS

Question

Chúng tôi đang sử dụng

django-celery==3.1.10 
celery==3.1.20 
python 2.7.13 

Chúng tôi đã viết một CustomDataBaseScheduler để sắp xếp công việc, mà lịch trình công việc một cách hoàn hảo đúng thời hạn. Chúng tôi đang chạy quá trình CeleryBeat như init script, nhưng celeryBeat tiêu thụ toàn bộ bộ nhớ của hệ thống, tức là 24GB trong một ngày.

Tôi đã cố gắng chạy pmap trên quy trình celerybeat, nhưng nó cho thấy [anon] đã chiếm nhiều bộ nhớ nhất.

Ai đó có thể giúp bạn gỡ lỗi và khắc phục sự cố này.

Answer 1

Trước hết, nếu bạn đang sử dụng django 1.8 trở lên, hãy sử dụng cần tây 4.0 trở lên. Trong trường hợp đó, bạn sẽ không yêu cầu django-cần tây. Cũng trong trường hợp đó, hãy làm theo hướng dẫn này. http://docs.celeryproject.org/en/latest/django/first-steps-with-django.html

Đến với vấn đề của bạn có thể là một trong những lý do sau:

1. nhân của bạn đang quá tải. Hãy thử sử dụng đồng thời như đã đề cập here
2. Kiểm tra xem cài đặt django của bạn DEBUG được đặt thành True hay không. Nó có thể gây ra rò rỉ bộ nhớ và cần tây khuyên chống lại nó khi bạn chạy nó.
3. Kiểm tra các bản sửa lỗi rò rỉ bộ nhớ trong history. Với tôi nó có vẻ là phiên bản tiếp theo sau của bạn, 3.1.21 để được chính xác có một số sửa chữa rò rỉ bộ nhớ. Hãy thử nâng cấp lên phiên bản 3.x mới nhất (chỉ khi bạn không thể sử dụng 4.x vì bất kỳ lý do nào.)
4. Nếu vẫn thất bại, hãy thử một số công cụ giám sát để gỡ lỗi kịch bản về những gì đang xảy ra. Một số công cụ giám sát được đề cập đến here.