Python, checksum của một dict

Question

Tôi đang nghĩ để tạo ra một checksum của một dict biết nếu nó đã được sửa đổi hay không Đối với thời điểm tôi có rằng:

>>> import hashlib 
>>> import pickle 
>>> d = {'k': 'v', 'k2': 'v2'} 
>>> z = pickle.dumps(d) 
>>> hashlib.md5(z).hexdigest() 
'8521955ed8c63c554744058c9888dc30' 

Có lẽ một giải pháp tốt hơn tồn tại?

Lưu ý: Tôi muốn tạo một id duy nhất của một dict để tạo Etag tốt.

EDIT: Tôi có thể có dữ liệu trừu tượng trong dict.

Answer 1

Something như thế này:

reduce(lambda x,y : x^y, [hash(item) for item in d.items()]) 

Lấy giá trị băm của mỗi (khóa, giá trị) tuple trong dict và XOR chúng hoàn toàn.

@katrielalex Nếu dict chứa mục unhashable bạn có thể làm điều này:

hash(str(d)) 

hoặc thậm chí tốt hơn

hash(repr(d)) 

Answer 2

Tôi không biết liệu pickle có đảm bảo rằng mã băm được tuần tự theo cùng một cách mọi lúc.

Nếu bạn chỉ có từ điển, tôi sẽ đi làm nước giải khát kết hợp của các cuộc gọi đến keys(), sorted(), xây dựng một chuỗi dựa trên chìa khóa cặp được sắp xếp/giá trị và tính toán checksum trên đó

Answer 3

Như bạn nói, bạn muốn tạo ra một ETag dựa trên từ điển nội dung, OrderedDict giữ nguyên thứ tự của từ điển có thể là ứng cử viên tốt hơn ở đây. Chỉ cần lặp qua các cặp khóa, giá trị và xây dựng chuỗi Etag của bạn.

Answer 4

Tôi nghĩ bạn có thể không nhận ra một số sự tinh tế đi sâu vào vấn đề này. Vấn đề đầu tiên là thứ tự các mục xuất hiện trong một dict không được xác định bởi việc thực hiện. Điều này có nghĩa rằng chỉ đơn giản là yêu cầu str của một dict không làm việc, bởi vì bạn có thể có

str(d1) == "{'a':1, 'b':2}" 
str(d2) == "{'b':2, 'a':1}" 

và chúng sẽ băm để giá trị khác nhau. Nếu bạn có các mục chỉ hashable trong dict, bạn có thể băm họ và sau đó tham gia lên băm của họ, như @Bart làm hoặc chỉ đơn giản là

hash(tuple(sorted(hash(x) for x in d.items()))) 

Lưu ý sorted, bởi vì bạn phải đảm bảo rằng các tuple băm đi ra trong cùng một thứ tự bất kể thứ tự các mục xuất hiện trong dict. Nếu bạn có dicts trong dict, bạn có thể recurse này, nhưng nó sẽ được phức tạp.

NHƯNG sẽ dễ dàng thực hiện bất kỳ việc thực hiện nào như thế này nếu bạn cho phép tùy ý dữ liệu trong từ điển, vì bạn có thể chỉ cần viết một đối tượng bị hỏng __hash__ triển khai và sử dụng. Và bạn không thể sử dụng id, bởi vì sau đó bạn có thể có các mục bằng nhau so sánh khác nhau.

Yếu tố đạo đức của câu chuyện là các băm băm không được hỗ trợ trong Python vì một lý do.

Answer 5

Trong Python 3, hàm băm được khởi tạo với một số ngẫu nhiên, khác với mỗi phiên python. Nếu điều đó không được chấp nhận cho ứng dụng dự định, hãy sử dụng ví dụ: zlib.adler32 để tạo tổng kiểm tra cho một dict:

import zlib 

d={'key1':'value1','key2':'value2'} 
checksum=0 
for item in d.items(): 
    c1 = 1 
    for t in item: 
     c1 = zlib.adler32(bytes(repr(t),'utf-8'), c1) 
    checksum=checksum^c1 

print(checksum)