Pandas: Tích lũy trở lại chức năng

Question

Tôi có một dataframe như sau:

Index  Return 
2008-11-21 0.153419 
2008-11-24 0.037421 
2008-11-25 0.077500 

cách tốt nhất để tính toán lợi nhuận tích lũy trên tất cả các cột trên hàng cuối cùng là gì?

Sau đây là kết quả dự kiến:

Index  Return 
2008-11-21 0.153419 
2008-11-24 0.037421 
2008-11-25 0.077500 
Cumulative 0.289316 

đâu tích lũy lợi nhuận tính như sau:

cumulative = (1 + return1) * (1 + return2) * (1 + return3) - 1 

cách tốt nhất để thực hiện điều này trong gấu trúc là gì?

Answer 1

có một phương pháp pandas cumprod() cho điều đó. điều này sẽ làm việc cho mọi cột.

df.ix["Cumulative"] = ((df+1).cumprod()-1).iloc[-1] 

này sẽ vào khoảng 2 lần nhanh hơn so với các giải pháp khác trên tập dữ liệu lớn:

In[106]: %timeit df.ix["Cumulative"] = ((df+1).cumprod()-1).iloc[-1] 
10 loops, best of 3: 18.4 ms per loop 
In[107]: %timeit df.ix['Cummulative'] = df.apply(lambda x: (x+1).prod()-1) 
10 loops, best of 3: 32.9 ms per loop 
In[110]: %timeit df.append(df.iloc[:,1:].apply(lambda col: (col + 1).prod() - 1), ignore_index=True) 
10 loops, best of 3: 37.1 ms per loop 
In[113]: %timeit df.append(df.apply(lambda col: prod([(1+c) for c in col]) - 1), ignore_index=True) 
1 loop, best of 3: 262 ms per loop 

tôi sẽ đề nghị để bao giờ sử dụng áp dụng nếu bạn có thể tìm thấy một phương pháp tích hợp từ áp dụng được lặp trên khung dữ liệu làm cho nó chậm. Bult-in phương pháp có hiệu quả cao và thông thường không có cách nào bạn sẽ nhận được nhanh hơn so với họ bằng cách áp dụng.

Answer 2

Một lựa chọn là chỉ cần sử dụng reduce, mặc dù người khác có thể có thể đưa ra phương pháp vectorized nhanh hơn:

In [10]: pd.read_clipboard() 
Out[10]: 
     Index Return 
0 2008-11-21 0.153419 
1 2008-11-24 0.037421 
2 2008-11-25 0.077500 

In [11]: reduce(lambda x, y: (1+x)*(1+y)-1, _10['Return']) 
Out[11]: 0.28931612705992227 

Lưu ý rằng trong Python 3, reduce là một phần của thư viện functools, mặc dù đó là một BUILTIN cho Python 2.

Answer 3

với pandas, bạn có thể sử dụng phương pháp prod():

df.append(df.iloc[:,1:].apply(lambda col: (col + 1).prod() - 1), ignore_index=True) 

#  Index Return 
#0 2008-11-21 0.153419 
#1 2008-11-24 0.037421 
#2 2008-11-25 0.077500 
#3   NaN 0.289316 

Hoặc như @Randy C nhận xét, đây có thể được đơn giản hóa hơn nữa để:

df.append((df.iloc[:,1:] + 1).prod() - 1, ignore_index=True) 

Answer 4

Dưới đây là của tôi:

from numpy import prod 
df.append(df.apply(lambda col: prod([(1+c) for c in col]) - 1), ignore_index=True) 

Answer 5

Một giải pháp:

df.ix["Cumulative"] = (df['Return']+1).prod() - 1 

này sẽ thêm 1 đến df['Return'] cột, nhân tất cả các hàng với nhau và sau đó trừ một hàng khỏi kết quả. Điều này sẽ dẫn đến một giá trị float đơn giản. Kết quả sau đó sẽ được đặt ở chỉ mục "Tích lũy". Kể từ khi chỉ số đó chưa hề tồn tại, it will be appended to the end of the DataFrame:

   Return 
2008-11-21 0.153419 
2008-11-25 0.077500 
2008-11-24 0.037421 
Cummulative 0.289316 

Nếu bạn muốn áp dụng điều này trên nhiều cột:

df.ix['Cummulative'] = df.apply(lambda x: (x+1).prod()-1) 

sẽ ra này như sau (tôi đã thực hiện một cột thứ hai gọi là "Return2" đó là bản sao của "Trả lại"):

   Return Return2 
2008-11-21 0.153419 0.153419 
2008-11-25 0.077500 0.077500 
2008-11-24 0.037421 0.037421 
Cummulative 0.289316 0.289316