Nhận kích thước không nén của tệp .gz trong python

Question

Sử dụng gzip, tell() trả về độ lệch trong tệp không nén.
Để hiển thị thanh tiến trình, tôi muốn biết kích thước gốc (chưa nén) của tệp.
Có cách nào dễ dàng để tìm hiểu không?

Answer 1

Các gzip format quy định cụ thể một lĩnh vực được gọi ISIZE rằng:

This contains the size of the original (uncompressed) input data modulo 2^32.

Trong gzip.py, mà tôi giả định là những gì bạn đang sử dụng để hỗ trợ gzip, có một phương pháp được gọi là _read_eof được định nghĩa là:

def _read_eof(self): 
    # We've read to the end of the file, so we have to rewind in order 
    # to reread the 8 bytes containing the CRC and the file size. 
    # We check the that the computed CRC and size of the 
    # uncompressed data matches the stored values. Note that the size 
    # stored is the true file size mod 2**32. 
    self.fileobj.seek(-8, 1) 
    crc32 = read32(self.fileobj) 
    isize = U32(read32(self.fileobj)) # may exceed 2GB 
    if U32(crc32) != U32(self.crc): 
     raise IOError, "CRC check failed" 
    elif isize != LOWU32(self.size): 
     raise IOError, "Incorrect length of data produced" 

Ở đó bạn có thể thấy rằng trường ISIZE đang được đọc, nhưng chỉ để so sánh nó với self.size để phát hiện lỗi. Điều này có nghĩa là GzipFile.size lưu trữ kích thước không nén thực tế. Tuy nhiên, tôi nghĩ rằng nó không được hiển thị công khai, vì vậy bạn có thể phải hack nó để lộ nó. Không chắc lắm, xin lỗi.

Tôi chỉ xem tất cả những điều này ngay bây giờ và tôi chưa thử nó để tôi có thể sai. Tôi hy vọng đây là một số sử dụng cho bạn. Xin lỗi nếu tôi hiểu lầm câu hỏi của bạn.

Answer 2

Cách Unix: sử dụng "gunzip -l file.gz" qua subprocess.call/os.popen, chụp và phân tích đầu ra của nó.

Answer 3

Nhìn vào nguồn cho mô-đun gzip, tôi thấy rằng đối tượng tệp cơ bản cho GzipFile có vẻ là fileobj. Vì vậy:

mygzipfile = gzip.GzipFile() 
... 
mygzipfile.fileobj.tell() 

?

Có thể bạn nên kiểm tra sự tỉnh táo trước khi thực hiện điều đó, như kiểm tra xem thuộc tính có tồn tại với hasattr hay không.

Không chính xác một API công cộng, nhưng ...

Answer 4

4 byte cuối cùng của gz giữ kích thước ban đầu của tập tin

Answer 5

GzipFile.size lưu trữ kích thước không nén, nhưng nó chỉ tăng lên khi bạn đọc tệp, vì vậy bạn nên thích len (fd.read()) thay vì GzipFile.size không công khai.

Answer 6

f = gzip.open(filename) 
    # kludge - report uncompressed file position so progess bars 
    # don't go to 400% 
    f.tell = f.fileobj.tell 

Answer 7

import gzip 

File = gzip.open("input.gz", "r") 
Size = gzip.read32(File) 

Answer 8

kích thước không nén được lưu trữ trong 4 byte cuối cùng của file gzip. Chúng ta có thể đọc dữ liệu nhị phân và chuyển đổi nó thành một int. (Điều này sẽ chỉ làm việc cho các tập tin dưới 4GB)

import struct 

def getuncompressedsize(filename): 
    with open(filename, 'rb') as f: 
     f.seek(-4, 2) 
     return struct.unpack('I', f.read(4))[0] 

Answer 9

Tôi không chắc chắn về hiệu suất, nhưng điều này có thể đạt được mà không biết gzip ma thuật bằng cách sử dụng:

with gzip.open(filepath, 'rb') as file_obj: 
    file_size = file_obj.seek(0, io.SEEK_END) 

này cũng nên làm việc cho khác (nén) luồng độc giả như bz2 hoặc đồng bằng open.

EDIT: như được đề xuất trong các nhận xét, 2 trong dòng thứ hai được thay thế bằng io.SEEK_END, điều này chắc chắn dễ đọc hơn và có thể là tương lai hơn.