Làm cách nào tôi có thể tạo nhiều băm của một tệp chỉ bằng một lần truyền?

Question

Làm thế nào tôi có thể nhận được MD5, SHA và các băm khác từ một tệp nhưng chỉ thực hiện một lần? Tôi có các tệp 100mb, vì vậy tôi không muốn xử lý các tệp 100MB đó nhiều lần.

Answer 1

Đây là một sửa đổi @ʞɔıu's answer sử dụng @Jason S' suggestion.

from __future__ import with_statement 
from hashlib import md5, sha1 

filename = 'hash_one-pass.py' 

hashes = md5(), sha1() 
chunksize = max(4096, max(h.block_size for h in hashes)) 
with open(filename, 'rb') as f: 
    while True: 
     chunk = f.read(chunksize) 
     if not chunk: 
      break 
     for h in hashes: 
      h.update(chunk) 

for h in hashes: 
    print h.name, h.hexdigest() 

Answer 2

Điều gì đó giống như vậy?

>>> import hashlib 
>>> hashes = (hashlib.md5(), hashlib.sha1()) 
>>> f = open('some_file', 'r') 
>>> for line in f: 
...  for hash in hashes: 
...   hash.update(line) 
... 
>>> for hash in hashes: 
...  print hash.name, hash.hexdigest() 

hoặc lặp trên f.read (1024) hoặc một cái gì đó như thế để có được khối cố định chiều dài

Answer 3

Tôi không biết Python nhưng tôi quen thuộc w/tính toán băm.

Nếu bạn xử lý việc đọc tệp theo cách thủ công, chỉ cần đọc trong một khối (256 byte hoặc 4096 byte hoặc bất kỳ thứ gì) tại một thời điểm và chuyển từng khối dữ liệu để cập nhật băm của mỗi thuật toán. (bạn sẽ phải khởi tạo trạng thái lúc bắt đầu và hoàn tất trạng thái ở cuối.)