Python đa xử lý Pool treo trên máy chủ ubuntu

Question

Tôi đang chạy Django trên một máy chủ Ubuntu với nginx và gunicorn. Tôi đang cố gắng để làm một số multiprocessing đó là làm việc trên máy địa phương của tôi nhưng treo cho đến khi công nhân gunicorn lần trên máy chủ của tôi.

cpu_count = int(multiprocessing.cpu_count()) 
pool = Pool(processes = cpu_count) 
result = pool.map_async(apiSimulAvail, rate_ranges) 
result.wait() 

...do some more stuff once all processes return 

Nó treo tại pool = Pool(processes = cpu_count). Tôi không nhận được bất kỳ lỗi nào, nhân viên gunicorn chỉ ra ngoài và khởi động lại.

Bất kỳ dấu hiệu nào về lý do tại sao điều này xảy ra và/hoặc cách tôi có thể giải quyết được đánh giá cao. Cảm ơn.

Answer 1

Thay đổi

pool = Pool(processes = cpu_count) 

để

pool = Pool(cpu_count) 

này giả định rằng bạn đã nhập Pool từ đa xử nếu không bạn sẽ cần phải làm

multiprocessing.Pool(cpu_count) 

Answer 2

Đây dường như là một biến thể trên Using python's Multiprocessing makes response hang on gunicorn vì vậy có thể đây là một bản dupe.

Điều đó có nghĩa là bạn phải sử dụng đa xử lý (MP)? Bạn thực sự có thể được phục vụ tốt hơn nuôi điều này ra một cái gì đó như Celery. MP có thể bị giết với nhân viên gunicorn khi nó chết vì nó sở hữu quy trình MP. Tùy thuộc vào cấu hình máy chủ, điều đó có thể xảy ra khá thường xuyên. Nếu bạn có một số công việc hoạt động rất dài, bạn vẫn có thể trang bị cho Celery, nó chỉ là cấu hình một chút.

Answer 3

Bạn đang sử dụng một số nhân viên Gyncorn không đồng bộ? Nếu vậy, hãy thử nhân viên đồng bộ hóa mặc định và xem liệu bạn có thể tạo lại sự cố hay không.

Nếu sự cố chỉ có thể được sao chép khi sử dụng công nhân không đồng bộ, bạn nên đảm bảo rằng mô-đun multiprocessing được vá chính xác.