Tăng tốc một nhiệm vụ bằng cách sử dụng đa xử lý hoặc luồng

Question

Có thể tăng tốc một tác vụ bằng cách sử dụng đa xử lý/luồng không? Cảm giác ruột của tôi là câu trả lời là 'không'. Dưới đây là ví dụ về ý nghĩa của một "nhiệm vụ duy nhất":

for i in range(max): 
    pick = random.choice(['on', 'off', 'both']) 

Với đối số 10000000 mất khoảng 7,9 giây để hoàn thành trên hệ thống của tôi.

Tôi có nắm bắt cơ bản về cách sử dụng đa xử lý và luồng cho nhiều tác vụ. Ví dụ: nếu tôi có 10 thư mục, mỗi thư mục chứa X số tệp cần được đọc, tôi có thể sử dụng tạo 10 chuỗi.

Tôi nghi ngờ rằng tác vụ đơn lẻ chỉ sử dụng một quy trình (trình quản lý tác vụ báo cáo mức sử dụng CPU tối thiểu). Có cách nào để tận dụng các lõi khác của tôi trong những trường hợp như vậy không? Hoặc là tăng CPU/bộ nhớ tốc độ cách duy nhất để có được kết quả nhanh hơn?

Answer 1

Dưới đây là một chuẩn mực của mã của bạn có và không có đa:

#!/usr/bin/env python 

import random 
import time 

def test1(): 
    print "for loop with no multiproc: " 
    m = 10000000 
    t = time.time() 
    for i in range(m): 
     pick = random.choice(['on', 'off', 'both']) 
    print time.time()-t 

def test2(): 
    print "map with no multiproc: " 
    m = 10000000 
    t = time.time() 
    map(lambda x: random.choice(['on', 'off', 'both']), range(m)) 
    print time.time()-t 

def rdc(x): 
    return random.choice(['on', 'off', 'both']) 

def test3(): 
    from multiprocessing import Pool 

    pool = Pool(processes=4) 
    m = 10000000 

    print "map with multiproc: " 
    t = time.time() 

    r = pool.map(rdc, range(m)) 
    print time.time()-t 

if __name__ == "__main__": 
    test1() 
    test2() 
    test3() 

Và đây là kết quả trên máy trạm của tôi (mà là một quadcore):

for loop with no multiproc: 
8.31032013893 
map with no multiproc: 
9.48167610168 
map with multiproc: 
4.94983720779 

Có thể để tăng tốc độ một tác vụ bằng cách sử dụng đa xử lý/luồng? Cảm giác ruột của tôi là câu trả lời là 'không'.

tốt, từ xa, câu trả lời là "chết tiệt, vâng".

Có cách nào để tận dụng các lõi khác của tôi trong những trường hợp như vậy không? Hoặc là tăng CPU/bộ nhớ tốc độ cách duy nhất để có được kết quả nhanh hơn?

có, bằng cách sử dụng đa xử lý. Python không thể xử lý nhiều lõi bằng cách sử dụng luồng, vì GIL, nhưng nó có thể dựa vào bộ lập lịch của hệ điều hành để tận dụng các lõi khác. Sau đó, bạn có thể nhận được một cải tiến thực sự về nhiệm vụ của mình.