Viết một vòng lặp song song

Question

Tôi đang cố chạy một vòng lặp song song trên một ví dụ đơn giản.
Tôi đang làm gì sai?

from joblib import Parallel, delayed 
import multiprocessing 

def processInput(i): 
     return i * i 

if __name__ == '__main__': 

    # what are your inputs, and what operation do you want to 
    # perform on each input. For example... 
    inputs = range(1000000)  

    num_cores = multiprocessing.cpu_count() 

    results = Parallel(n_jobs=4)(delayed(processInput)(i) for i in inputs) 

    print(results) 

Vấn đề với mã là khi thực hiện dưới môi trường Windows trong Python 3, nó sẽ mở ra num_cores trường hợp của python để thực hiện các công việc song song nhưng chỉ là một trong những hoạt động. Đây không phải là trường hợp vì hoạt động của bộ vi xử lý phải là 100% thay vì 14% (theo i7 - 8 lõi logic).

Tại sao các trường hợp bổ sung không làm bất cứ điều gì?

Answer 1

Tiếp tục theo yêu cầu của bạn để cung cấp một mã đa xử làm việc, tôi đề nghị bạn nên sử dụng pool_map (nếu chức năng bị trì hoãn không quan trọng), tôi sẽ cung cấp cho bạn một ví dụ, nếu bạn đang làm việc trên python3 giá trị của nó để đề cập đến bạn có thể sử dụng starmap. Cũng đáng nói đến là bạn có thể sử dụng map_sync/starmap_async nếu thứ tự của các kết quả trả về không phải tương ứng với thứ tự của các đầu vào.

import multiprocessing as mp 

def processInput(i): 
     return i * i 

if __name__ == '__main__': 

    # what are your inputs, and what operation do you want to 
    # perform on each input. For example... 
    inputs = range(1000000) 
    # removing processes argument makes the code run on all available cores 
    pool = mp.Pool(processes=4) 
    results = pool.map(processInput, inputs) 
    print(results) 

Answer 2

Trên Windows, mô-đun đa xử lý sử dụng phương pháp 'đẻ trứng' để khởi động nhiều quy trình thông dịch python. Điều này tương đối chậm. Song song cố gắng thông minh về việc chạy mã. Đặc biệt, nó cố gắng điều chỉnh kích cỡ lô để một lô mất khoảng nửa giây để thực thi. (Xem đối số batch_size tại https://pythonhosted.org/joblib/parallel.html)

Chức năng của bạn chạy nhanh đến mức Parallel xác định rằng việc chạy công việc serially trên một bộ xử lý nhanh hơn để xoay nhiều trình thông dịch python và chạy mã song song.

Nếu bạn muốn buộc ví dụ chạy trên nhiều lõi, hãy thử đặt batch_size thành 1000 hoặc làm cho phức tạp hơn processInput() để mất nhiều thời gian hơn để thực thi.

Chỉnh sửa: Ví dụ làm việc trên cửa sổ cho thấy nhiều quy trình sử dụng (Tôi đang sử dụng Windows 7):

from joblib import Parallel, delayed 
from os import getpid 

def modfib(n): 
    # print the process id to see that multiple processes are used, and 
    # re-used during the job. 
    if n%400 == 0: 
     print(getpid(), n) 

    # fibonacci sequence mod 1000000 
    a,b = 0,1 
    for i in range(n): 
     a,b = b,(a+b)%1000000 
    return b 

if __name__ == "__main__": 
    Parallel(n_jobs=-1, verbose=5)(delayed(modfib)(j) for j in range(1000, 4000))