Xử lý đa Python: báo cáo tiến trình từ các quy trình

Question

Tôi có một số tác vụ trong ứng dụng bị ràng buộc CPU và tôi muốn sử dụng mô-đun đa xử lý để sử dụng bộ xử lý đa lõi. Tôi thực hiện một nhiệm vụ lớn (phân tích tệp video) và tôi chia nó thành nhiều tác vụ nhỏ hơn được xếp vào hàng đợi và được thực hiện bởi các quy trình công nhân. Điều tôi muốn biết là cách báo cáo tiến trình cho quy trình chính từ các quy trình công nhân này. Ví dụ tôi cần họ gửi "Tôi đang ở 1000ms phân tích của tôi về tập tin 1". Cách tốt nhất để thực hiện báo cáo tiến độ như vậy là gì?

Answer 1

Tôi muốn giới thiệu một multiprocessing.Queue: không có gì dễ dàng hơn cho các quy trình của nhân viên để đăng cập nhật của họ (có lẽ là bộ dữ liệu với các khía cạnh khác nhau của bản cập nhật tiến trình của họ) ở đó, trong khi quá trình chính chỉ chờ các thông báo như vậy và khi họ cập nhật GUI (hoặc giao diện người dùng văn bản ;-) để giữ cho người dùng đánh giá tiến độ.