Large Pandas Dataframe xử lý song song

Question

Tôi đang truy cập vào một khung dữ liệu Pandas rất lớn dưới dạng biến toàn cục. Biến này được truy cập song song qua joblib.

Ví dụ:

df = db.query("select id, a_lot_of_data from table") 

def process(id): 
    temp_df = df.loc[id] 
    temp_df.apply(another_function) 

Parallel(n_jobs=8)(delayed(process)(id) for id in df['id'].to_list()) 

Truy cập df gốc theo cách này có vẻ như sao chép dữ liệu qua các quy trình. Điều này là bất ngờ vì df gốc không bị thay đổi trong bất kỳ quy trình con nào? (hoặc là nó?)

Answer 1

Toàn bộ DataFrame cần phải được chọn và bỏ chọn cho mỗi quá trình được tạo bởi joblib. Trong thực tế, điều này là rất chậm và cũng đòi hỏi nhiều lần bộ nhớ của mỗi.

Một giải pháp là lưu trữ dữ liệu của bạn ở định dạng HDF (df.to_hdf) sử dụng định dạng bảng. Sau đó, bạn có thể sử dụng select để chọn tập hợp con dữ liệu để xử lý tiếp. Trong thực tế, điều này sẽ quá chậm để sử dụng tương tác. Nó cũng rất phức tạp, và công nhân của bạn sẽ cần phải lưu trữ công việc của họ để nó có thể được củng cố trong bước cuối cùng.

Cách khác là khám phá numba.vectorize với target='parallel'. Điều này sẽ yêu cầu sử dụng các mảng NumPy không phải là các đối tượng Pandas, vì vậy nó cũng có một số chi phí phức tạp.

Về lâu dài, dask được hy vọng mang lại sự thực hiện song song với gấu trúc, nhưng đây không phải là điều mong đợi sớm.

Answer 2

Xử lý đa nhân Python thường được thực hiện bằng các quy trình riêng biệt, như bạn đã lưu ý, có nghĩa là các quá trình không chia sẻ bộ nhớ. Có một cách giải quyết tiềm ẩn nếu bạn có thể làm việc với np.memmap như đã đề cập ở trên một chút so với tài liệu joblib, mặc dù bán phá giá vào đĩa rõ ràng sẽ thêm một số chi phí của riêng nó: https://pythonhosted.org/joblib/parallel.html#working-with-numerical-data-in-shared-memory-memmaping