Tìm hiểu về Pickling bằng Python

Question

Tôi vừa mới có một bài tập nơi tôi cần phải đặt một từ điển (trong đó mỗi khóa đề cập đến một danh sách) ở dạng ngâm. Vấn đề duy nhất là tôi không biết hình thức ngâm là gì. Bất cứ ai có thể chỉ cho tôi đúng hướng của một số nguồn lực tốt để giúp tôi tìm hiểu khái niệm này? Cảm ơn!

Answer 1

Trong khi những người khác đã chỉ ra các tài liệu Python trên module dưa, mà là một nguồn lực lớn, bạn cũng có thể xem Chapter 13: Serializing Python Objects của Lặn vào Python 3 bởi Mark Pilgrim.

Answer 2

http://docs.python.org/library/pickle.html#example

import pickle 

data1 = {'a': [1, 2.0, 3, 4+6j], 
     'b': ('string', u'Unicode string'), 
     'c': None} 

selfref_list = [1, 2, 3] 
selfref_list.append(selfref_list) 

output = open('data.pkl', 'wb') 

# Pickle dictionary using protocol 0. 
pickle.dump(data1, output) 

# Pickle the list using the highest protocol available. 
pickle.dump(selfref_list, output, -1) 

output.close() 

Answer 3

phẩm làm sạch chỉ là serialization: đưa dữ liệu vào một dạng có thể được lưu trữ trong một tập tin và tải về sau. Dưới đây là các tài liệu về các mô-đun pickle:

http://docs.python.org/release/2.7/library/pickle.html

Answer 4

Các module dưa thực hiện một thuật toán cơ bản, nhưng mạnh mẽ cho serializing và de-serializing một cấu trúc đối tượng Python.

phẩm làm sạch - là quá trình trong đó một hệ thống phân cấp đối tượng Python được chuyển đổi thành một dòng byte, và Unpickling - là hoạt động ngược lại, nhờ đó mà một dòng byte được chuyển đổi trở lại thành một hệ thống phân cấp đối tượng.

phẩm làm sạch (và unpickling) là cách gọi khác như serialization, marshalling, hoặc phẳng.

import pickle 

data1 = {'a': [1, 2.0, 3, 4+6j], 
     'b': ('string', u'Unicode string'), 
     'c': None} 

selfref_list = [1, 2, 3] 
selfref_list.append(selfref_list) 

output = open('data.pkl', 'wb') 

# Pickle dictionary using protocol 0. 
pickle.dump(data1, output) 

# Pickle the list using the highest protocol available. 
pickle.dump(selfref_list, output, -1) 

output.close() 

Để đọc từ một tập tin ngâm -

import pprint, pickle 

pkl_file = open('data.pkl', 'rb') 

data1 = pickle.load(pkl_file) 
pprint.pprint(data1) 

data2 = pickle.load(pkl_file) 
pprint.pprint(data2) 

pkl_file.close() 

nguồn - https://docs.python.org/2/library/pickle.html

Answer 5

Pickling trong Python được sử dụng để tuần tự hóa và loại bỏ các đối tượng Python, như từ điển trong trường hợp của bạn. Tôi thường sử dụng mô-đun cPickle vì nó có thể nhanh hơn nhiều so với mô-đun Pickle.

import cPickle as pickle  

def serializeObject(pythonObj): 
    return pickle.dumps(pythonObj, pickle.HIGHEST_PROTOCOL) 

def deSerializeObject(pickledObj): 
    return pickle.loads(pickledObj) 

Answer 6

phẩm làm sạch là một mini-ngôn ngữ có thể được sử dụng để chuyển đổi trạng thái có liên quan từ một đối tượng python vào một chuỗi, nơi chuỗi này duy nhất đại diện cho đối tượng. Sau đó (un) tẩy có thể được sử dụng để chuyển đổi chuỗi thành một đối tượng trực tiếp, bằng cách "xây dựng lại" đối tượng từ trạng thái đã lưu thành lập chuỗi.

>>> import pickle 
>>> 
>>> class Foo(object): 
... y = 1 
... def __init__(self, x): 
...  self.x = x 
...  return 
... def bar(self, y): 
...  return self.x + y 
... def baz(self, y): 
...  Foo.y = y 
...  return self.bar(y) 
... 
>>> f = Foo(2) 
>>> f.baz(3) 
5 
>>> f.y 
3 
>>> pickle.dumps(f) 
"ccopy_reg\n_reconstructor\np0\n(c__main__\nFoo\np1\nc__builtin__\nobject\np2\nNtp3\nRp4\n(dp5\nS'x'\np6\nI2\nsb." 

Những gì bạn có thể thấy ở đây là dưa không lưu mã nguồn cho lớp, nhưng lưu trữ tham chiếu đến định nghĩa lớp. Về cơ bản, bạn gần như có thể đọc chuỗi đã chọn… nó nói (tạm dịch), gọi hàm dựng lại của copy_reg, trong đó các đối số là lớp được xác định bởi __main__.Foo và sau đó thực hiện các công cụ khác ". Các thứ khác là trạng thái đã lưu của cá thể. Nếu bạn nhìn sâu hơn, bạn có thể trích xuất rằng "chuỗi x" được đặt thành "số nguyên 2" (khoảng: S'x'\np6\nI2). Đây thực sự là một phần được cắt bớt của chuỗi được chọn cho mục nhập từ điển… số dict là f.__dict__, là {'x': 2}. Nếu bạn nhìn vào mã nguồn cho pickle, nó rất rõ ràng cung cấp một bản dịch cho từng loại đối tượng và hoạt động từ python để ngâm mã byte.

Cũng lưu ý rằng có các biến thể khác nhau của ngôn ngữ tẩy. Giao thức mặc định là giao thức 0, có thể đọc được nhiều hơn. Ngoài ra còn có giao thức 2, được hiển thị bên dưới (và 1,3 và 4, tùy thuộc vào phiên bản của python bạn đang sử dụng).

>>> pickle.dumps([1,2,3]) 
'(lp0\nI1\naI2\naI3\na.' 
>>> 
>>> pickle.dumps([1,2,3], -1) 
'\x80\x02]q\x00(K\x01K\x02K\x03e.' 

Một lần nữa, nó vẫn là một phương ngữ của ngôn ngữ tẩy, và bạn có thể thấy rằng các chuỗi giao thức 0 nói "có được một danh sách, bao gồm I1, I2, I3", trong khi các giao thức 2 là khó khăn hơn để đọc, nhưng cũng nói như vậy. Bit đầu tiên \x80\x02 chỉ ra rằng đó là giao thức 2 - sau đó bạn có ] mà nói đó là một danh sách, sau đó một lần nữa bạn có thể thấy các số nguyên 1,2,3 trong đó. Một lần nữa, kiểm tra mã nguồn cho dưa chua để xem bản đồ chính xác cho ngôn ngữ tẩy.

Để đảo ngược quá trình tẩy cho một chuỗi, hãy sử dụng tải/tải.

>>> p = pickle.dumps([1,2,3]) 
>>> pickle.loads(p) 
[1, 2, 3] 

Answer 7

Mô đun pickle thực hiện một thuật toán cơ bản, nhưng mạnh mẽ để sắp xếp và hủy tuần tự cấu trúc đối tượng Python. "Pickling" là quá trình trong đó một hệ thống phân cấp đối tượng Python được chuyển đổi thành một dòng byte, và "unpickling" là hoạt động nghịch đảo, theo đó một dòng byte được chuyển đổi trở lại thành một hệ thống phân cấp đối tượng. Việc tẩy (và tháo ghim) được gọi là "serialization", "marshaling" hoặc "flattening", tuy nhiên, để tránh nhầm lẫn, các thuật ngữ được sử dụng ở đây là "tẩy" và "tháo nút".

Mô-đun dưa có một người anh em họ được tối ưu hóa được gọi là mô-đun cPickle. Như tên gọi của nó, cPickle được viết bằng C, vì vậy nó có thể nhanh hơn đến 1000 lần so với dưa chua. Tuy nhiên, nó không hỗ trợ lớp con của các lớp Pickler() và Unpickler(), bởi vì trong cPickle đây là các hàm, không phải các lớp. Hầu hết các ứng dụng đều không cần chức năng này và có thể hưởng lợi từ hiệu suất được cải thiện của cPickle. Ngoài ra, các giao diện của hai mô-đun gần giống nhau; giao diện chung được mô tả trong sách hướng dẫn này và các khác biệt được chỉ ra khi cần thiết. Trong các cuộc thảo luận sau, chúng tôi sử dụng thuật ngữ “dưa chua” để mô tả chung mô đun dưa chuột và cPickle.

Luồng dữ liệu hai mô-đun sản xuất được đảm bảo có thể hoán đổi cho nhau.