chức năng groupby bằng Python Pandas như SUM (col_1 * col_2), bình quân gia quyền vv

Question

Có thể trực tiếp tính toán sản phẩm (hoặc ví dụ tổng hợp) của hai cột mà không sử dụng

grouped.apply(lambda x: (x.a*x.b).sum() 

Đó là nhiều (ít hơn một nửa thời gian trên máy của tôi) nhanh hơn để sử dụng

df['helper'] = df.a*df.b 
grouped= df.groupby(something) 
grouped['helper'].sum() 
df.drop('helper', axis=1) 

Nhưng tôi thực sự không thích phải làm điều này. Ví dụ: Ví dụ: hữu ích để tính toán mức trung bình có trọng số cho mỗi nhóm. Ở đây, cách tiếp cận lambda sẽ là

grouped.apply(lambda x: (x.a*x.b).sum()/(df.b).sum()) 

và lại chậm hơn nhiều so với việc chia helper cho b.sum().

Answer 1

Tôi muốn cuối cùng xây dựng một đánh giá biểu thức mảng nhúng (Numexpr trên steroid) để làm những việc như thế này. Ngay bây giờ chúng tôi đang làm việc với những hạn chế của Python-- nếu bạn thực hiện một aggregator Cython làm (x * y).sum() sau đó nó có thể được kết nối với groupby, nhưng lý tưởng bạn có thể viết biểu thức Python là một hàm:

def weight_sum(x, y): 
    return (x * y).sum() 

và mà sẽ nhận được "JIT biên dịch" và được về nhanh như groupby (...). sum(). Những gì tôi mô tả là một dự án khá đáng kể (nhiều tháng). Nếu có một triển khai APL tương thích với BSD, tôi có thể thực hiện một số việc như trên sớm hơn một chút (chỉ cần suy nghĩ to).

Answer 2

Làm thế nào về trực tiếp nhóm kết quả của x.a * x.b, ví dụ:

from pandas import * 
from numpy.random import randn 
df = DataFrame({'A' : ['foo', 'bar', 'foo', 'bar', 
       'foo', 'bar', 'foo', 'foo'], 
     'B' : ['one', 'one', 'two', 'three', 
       'two', 'two', 'one', 'three'], 
     'C' : randn(8), 'D' : randn(8)}) 

print (df.C*df.D).groupby(df.A).sum() 

Answer 3

Câu trả lời đến nhiều năm sau qua pydata blaze

from blaze import * 
data = Data(df) 
somethings = odo(
by(data.something, 
    wm = (data.a * data.weights).sum()/data.weights.sum()), 
pd.DataFrame)