Python, cPickle, tẩy các hàm lambda

Question

tôi phải dưa một mảng của các đối tượng như thế này:

import cPickle as pickle 
from numpy import sin, cos, array 
tmp = lambda x: sin(x)+cos(x) 
test = array([[tmp,tmp],[tmp,tmp]],dtype=object) 
pickle.dump(test, open('test.lambda','w')) 

và nó mang lại cho các lỗi sau:

TypeError: can't pickle function objects 

Có cách nào xung quanh đó?

Answer 1

Mô-đun dưa tích hợp không thể tuần tự hóa một số loại đối tượng python (bao gồm hàm lambda, hàm lồng nhau và hàm được xác định tại dòng lệnh).

Gói picloud bao gồm bộ chọn mạnh mẽ hơn, có thể chọn chức năng lambda.

đối tượng

from pickle import dumps 
f = lambda x: x * 5 
dumps(f) # error 
from cloud.serialization.cloudpickle import dumps 
dumps(f) # works 

PiCloud-serialized có thể được de-đăng bằng cách sử dụng dưa bình thường/cPickle load và loads chức năng.

Dill cũng cung cấp chức năng tương tự

>>> import dill   
>>> f = lambda x: x * 5 
>>> dill.dumps(f) 
'\x80\x02cdill.dill\n_create_function\nq\x00(cdill.dill\n_unmarshal\nq\x01Uec\x01\x00\x00\x00\x01\x00\x00\x00\x02\x00\x00\x00C\x00\x00\x00s\x08\x00\x00\x00|\x00\x00d\x01\x00\x14S(\x02\x00\x00\x00Ni\x05\x00\x00\x00(\x00\x00\x00\x00(\x01\x00\x00\x00t\x01\x00\x00\x00x(\x00\x00\x00\x00(\x00\x00\x00\x00s\x07\x00\x00\x00<stdin>t\x08\x00\x00\x00<lambda>\x01\x00\x00\x00s\x00\x00\x00\x00q\x02\x85q\x03Rq\x04c__builtin__\n__main__\nU\x08<lambda>q\x05NN}q\x06tq\x07Rq\x08.' 

Answer 2

Bạn sẽ phải sử dụng một chức năng thực tế thay vào đó, một trong đó là có thể nhập cảng (không lồng vào bên trong chức năng khác):

import cPickle as pickle 
from numpy import sin, cos, array 
def tmp(x): 
    return sin(x)+cos(x) 
test = array([[tmp,tmp],[tmp,tmp]],dtype=object) 
pickle.dump(test, open('test.lambda','w')) 

Đối tượng chức năng vẫn có thể được sản xuất bởi một biểu thức lambda, nhưng chỉ khi bạn sau đó cung cấp cho các kết quả chức năng đối tượng cùng tên:

tmp = lambda x: sin(x)+cos(x) 
tmp.__name__ = 'tmp' 
test = array([[tmp, tmp], [tmp, tmp]], dtype=object) 

vì pickle cửa hàng chỉ module và tên cho một đối tượng hàm; trong ví dụ trên, tmp.__module__ và tmp.__name__ bây giờ trở lại điểm ngay tại vị trí có thể tìm thấy cùng một đối tượng đó khi tháo bỏ.

Answer 3

Có một giải pháp khác: xác định bạn có chức năng như chuỗi, dưa/un-dưa sau đó sử dụng eval, ví dụ:

import cPickle as pickle 
from numpy import sin, cos, array 
tmp = "lambda x: sin(x)+cos(x)" 
test = array([[tmp,tmp],[tmp,tmp]],dtype=object) 
pickle.dump(test, open('test.lambda','w')) 
mytmp = array([[eval(x) for x in l] for l in pickle.load(open('test.lambda','r'))]) 
print mytmp 
# yields : [[<function <lambda> at 0x00000000033D4DD8> 
#   <function <lambda> at 0x00000000033D4E48>] 
#   [<function <lambda> at 0x00000000033D4EB8> 
#   <function <lambda> at 0x00000000033D4F28>]] 

Điều này có thể thuận tiện hơn cho các giải pháp khác vì biểu diễn muối sẽ hoàn toàn tự chứa mà không phải sử dụng các phụ thuộc bên ngoài.