Ghi nhớ Pandas

Question

Tôi có tính toán dài mà tôi lặp lại nhiều lần. Do đó, tôi muốn sử dụng ghi nhớ (các gói như jug và joblib), trong buổi hòa nhạc với Pandas. Vấn đề là liệu gói đó có ghi nhớ tốt các tham số của phương thức Pandas DataFrames hay không.

Có ai đã thử không? Có cách nào khác được đề nghị gói/cách để làm điều này?

Answer 1

Tác giả của bình ở đây: jug hoạt động tốt. Tôi chỉ cố gắng sau đây và nó hoạt động:

from jug import TaskGenerator 
import pandas as pd 
import numpy as np 


@TaskGenerator 
def gendata(): 
    return pd.DataFrame(np.arange(343440).reshape((10,-1))) 

@TaskGenerator 
def compute(x): 
    return x.mean() 

y = compute(gendata()) 

Nó không phải là hiệu quả như nó có thể là vì nó chỉ sử dụng pickle nội bộ cho DataFrame (mặc dù nó nén nó một cách nhanh chóng, vì vậy nó không phải là khủng khiếp về sử dụng bộ nhớ, chỉ chậm hơn mức có thể).

Tôi sẽ mở cho một thay đổi tiết kiệm những trường hợp này như một trường hợp đặc biệt như bình hiện tại cho các mảng có nhiều mảng: https://github.com/luispedro/jug/blob/master/jug/backends/file_store.py#L102

Answer 2

Tôi sử dụng trình trang trí ghi nhớ cơ bản này, memoized. http://wiki.python.org/moin/PythonDecoratorLibrary#Memoize

DataFrames có thể băm, vì vậy nó sẽ hoạt động tốt. Đây là một ví dụ.

In [2]: func = lambda df: df.apply(np.fft.fft) 

In [3]: memoized_func = memoized(func) 

In [4]: df = DataFrame(np.random.randn(1000, 1000)) 

In [5]: %timeit func(df) 
10 loops, best of 3: 124 ms per loop 

In [9]: %timeit memoized_func(df) 
1000000 loops, best of 3: 1.46 us per loop 

Có vẻ tốt với tôi.