Pandas: Áp dụng Lambda vào nhiều khung dữ liệu

Question

Tôi đang cố gắng tìm ra cách áp dụng hàm lambda cho nhiều khung dữ liệu cùng một lúc, mà không cần hợp nhất các khung dữ liệu với nhau. Tôi đang làm việc với các tập dữ liệu lớn (> 60MM hồ sơ) và tôi cần phải cẩn thận hơn với quản lý bộ nhớ.

Mong muốn của tôi là có cách áp dụng lambda cho các khung dữ liệu bên dưới để tôi có thể tránh chi phí ghép chúng lại với nhau trước, sau đó thả dataframe trung gian đó khỏi bộ nhớ trước khi chuyển sang bước tiếp theo quá trình.

Tôi có kinh nghiệm né tránh vấn đề bộ nhớ bằng cách sử dụng các khung dữ liệu dựa trên HDF5, nhưng tôi muốn thử khám phá điều gì đó khác trước tiên.

Tôi đã cung cấp một vấn đề đồ chơi để giúp chứng minh những gì tôi đang nói đến.

import numpy as np 
import pandas as pd 

# Here's an arbitrary function to use with lambda 
def someFunction(input1, input2, input3, input4): 
    theSum = input1 + input2 
    theAverage = (input1 + input2 + input3 + input4)/4 
    theProduct = input2 * input3 * input4 
    return pd.Series({'Sum' : theSum, 'Average' : theAverage, 'Product' : theProduct}) 

# Cook up some dummy dataframes 
df1 = pd.DataFrame(np.random.randn(6,2),columns=list('AB')) 
df2 = pd.DataFrame(np.random.randn(6,1),columns=list('C')) 
df3 = pd.DataFrame(np.random.randn(6,1),columns=list('D')) 

# Currently, I merge the dataframes together and then apply the lambda function 
dfConsolodated = pd.concat([df1, df2, df3], axis=1) 

# This works just fine, but merging the dataframes seems like an extra step 
dfResults = dfConsolodated.apply(lambda x: someFunction(x['A'], x['B'], x['C'], x['D']), axis = 1) 

# I want to avoid the concat completely in order to be more efficient with memory. I am hoping for something like this: 
# I am COMPLETELY making this syntax up for conceptual purposes, my apologies. 
dfResultsWithoutConcat = [df1, df2, df3].apply(lambda x: someFunction(df1['A'], df1['B'], df2['C'], df3['D']), axis = 1) 

Answer 1

Một lựa chọn sẽ được tạo ra một cách rõ ràng quy tụ mong muốn:

theSum = df1.A + df1.B 
theAverage = (df1.A + df1.B + df2.C + df3.D)/4. 
theProduct = df1.B * df2.C * df3.D 
theResult = pd.concat([theSum, theAverage, theProduct]) 
theResult.columns = ['Sum', 'Average', 'Product'] 

Một khả năng khác là sử dụng query, nhưng điều này thực sự phụ thuộc vào trường hợp sử dụng của bạn và làm thế nào bạn có ý định để tổng hợp dữ liệu của bạn. Dưới đây là ví dụ về các tài liệu có thể áp dụng cho bạn.

map(lambda frame: frame.query(expr), [df, df2]) 

Answer 2

Tôi biết câu hỏi này khá cũ, nhưng đây là cách tôi đã nghĩ ra. Nó không đẹp, nhưng nó hoạt động.

Ý tưởng cơ bản là truy vấn khung dữ liệu thứ hai bên trong hàm được áp dụng. Bằng cách sử dụng tên của chuỗi đã qua, bạn có thể nhận dạng cột/chỉ mục và sử dụng nó để truy lục giá trị cần thiết từ (các) khung dữ liệu khác.

def func(x, other): 
    other_value = other.loc[x.name] 
    return your_actual_method(x, other_value) 

result = df1.apply(lambda x: func(x, df2))