Tôi có thể tạo multiarray hoặc danh sách đối tượng danh sách được chia sẻ trong python để đa xử lý không?

Question

Tôi cần phải tạo một đối tượng được chia sẻ của một mảng đa chiều hoặc danh sách các danh sách để nó có sẵn cho các quy trình khác. Có cách nào để tạo ra nó như cho những gì tôi đã thấy nó là không thể. Tôi đã thử:

from multiprocessing import Process, Value, Array 
arr = Array('i', range(10)) 
arr[:] 
[0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 
arr[2]=[12,43] 
TypeError: an integer is required 

tôi nghe NumPy mảng có thể multiarray và một đối tượng chia sẻ, nếu ở trên là không thể ai đó có thể cho tôi biết làm thế nào để làm cho một mảng NumPy một đối tượng chia sẻ ??

Answer 1

Để thực hiện một mảng NumPy một đối tượng chia sẻ (full example):

import ctypes as c 
import numpy as np 
import multiprocessing as mp 

n, m = 2, 3 
mp_arr = mp.Array(c.c_double, n*m) # shared, can be used from multiple processes 
# then in each new process create a new numpy array using: 
arr = np.frombuffer(mp_arr.get_obj()) # mp_arr and arr share the same memory 
# make it two-dimensional 
b = arr.reshape((n,m)) # b and arr share the same memory 

Nếu bạn không cần một chia sẻ (như trong "chia sẻ bộ nhớ cùng") đối tượng và chỉ đối tượng có thể được sử dụng từ nhiều quy trình là đủ thì bạn có thể sử dụng multiprocessing.Manager:

from multiprocessing import Process, Manager 

def f(L): 
    row = L[0] # take the 1st row 
    row.append(10) # change it 
    L[0] = row #NOTE: important: copy the row back (otherwise parent 
       #process won't see the changes) 

if __name__ == '__main__': 
    manager = Manager() 

    lst = manager.list() 
    lst.append([1]) 
    lst.append([2, 3]) 
    print(lst) # before: [[1], [2, 3]] 

    p = Process(target=f, args=(lst,)) 
    p.start() 
    p.join() 

    print(lst) # after: [[1, 10], [2, 3]] 

từ the docs:

Trình quản lý quy trình máy chủ linh hoạt hơn sử dụng bộ nhớ dùng chung đối tượng vì chúng có thể được tạo để hỗ trợ các loại đối tượng tùy ý. Ngoài ra, một người quản lý có thể được chia sẻ theo các quy trình trên các máy tính khác nhau qua mạng. Tuy nhiên, chúng chậm hơn so với sử dụng bộ nhớ chia sẻ .

Answer 2

Tại sao không tạo danh sách Array s?

arrays = [Array('i', range(10))] * 10