Sử dụng hashlib để tính toán tiêu chuẩn md5 của tệp trong Python 3

Question

Với python 2.7, mã sau tính toán md5 hexdigest của nội dung của tệp.

(EDIT: tốt, không thực sự là câu trả lời đã hiển thị, tôi chỉ nghĩ vậy).

import hashlib 

def md5sum(filename): 
    f = open(filename, mode='rb') 
    d = hashlib.md5() 
    for buf in f.read(128): 
     d.update(buf) 
    return d.hexdigest() 

Bây giờ nếu tôi chạy mã mà sử dụng python3 nó nâng cao một ngoại lệ Lỗi Loại:

d.update(buf) 
TypeError: object supporting the buffer API required 

tôi đã tìm ra rằng tôi có thể làm cho rằng mã chạy với cả python2 và python3 thay đổi nó để:

def md5sum(filename): 
    f = open(filename, mode='r') 
    d = hashlib.md5() 
    for buf in f.read(128): 
     d.update(buf.encode()) 
    return d.hexdigest() 

Bây giờ tôi vẫn tự hỏi tại sao mã gốc ngừng hoạt động. Dường như khi mở một tệp bằng cách sử dụng công cụ sửa đổi chế độ nhị phân, nó trả về các số nguyên thay vì các chuỗi được mã hóa thành các byte (tôi nói rằng vì kiểu (buf) trả về int). Hành vi này có được giải thích ở đâu đó không?

Answer 1

Tôi nghĩ rằng bạn muốn cho vòng lặp để thực hiện cuộc gọi liên tiếp để f.read(128). Điều đó có thể được thực hiện bằng iter() và functools.partial():

import hashlib 
from functools import partial 

def md5sum(filename): 
    with open(filename, mode='rb') as f: 
     d = hashlib.md5() 
     for buf in iter(partial(f.read, 128), b''): 
      d.update(buf) 
    return d.hexdigest() 

print(md5sum('utils.py')) 

Answer 2

for buf in f.read(128): 
    d.update(buf) 

.. cập nhật liên tục băm với mỗi người trong số những người đầu tiên 128 byte giá trị của các tập tin. Kể từ khi lặp qua một số bytes tạo ra các đối tượng int, bạn nhận được các cuộc gọi sau gây ra lỗi mà bạn gặp phải trong Python3.

d.update(97) 
d.update(98) 
d.update(99) 
d.update(100) 

không phải là thứ bạn muốn.

Thay vào đó, bạn muốn:

def md5sum(filename): 
    with open(filename, mode='rb') as f: 
    d = hashlib.md5() 
    while True: 
     buf = f.read(4096) # 128 is smaller than the typical filesystem block 
     if not buf: 
     break 
     d.update(buf) 
    return d.hexdigest() 

Answer 3

cuối cùng tôi đã thay đổi mã của tôi để các phiên bản dưới đây (mà tôi tìm thấy dễ hiểu) sau khi đặt câu hỏi. Nhưng tôi có thể sẽ thay đổi nó thành phiên bản được đề xuất bởi Raymond Hetting unsing functools.partial.

import hashlib 

def chunks(filename, chunksize): 
    f = open(filename, mode='rb') 
    buf = "Let's go" 
    while len(buf): 
     buf = f.read(chunksize) 
     yield buf 

def md5sum(filename): 
    d = hashlib.md5() 
    for buf in chunks(filename, 128): 
     d.update(buf) 
    return d.hexdigest()