Đọc các ký tự utf-8 từ tệp gzip trong python

Question

Tôi đang cố gắng đọc tệp được nén (.gz) trong python và đang gặp một số sự cố.

Tôi đã sử dụng mô-đun gzip để đọc nhưng tệp được mã hóa dưới dạng tệp văn bản utf-8 để cuối cùng nó đọc một ký tự không hợp lệ và bị treo.

Có ai biết cách đọc tệp gzip được mã hóa dưới dạng tệp utf-8 không? Tôi biết rằng có một mô-đun codec có thể giúp nhưng tôi không thể hiểu cách sử dụng nó.

Cảm ơn!

import string 
import gzip 
import codecs 

f = gzip.open('file.gz','r') 

engines = {} 
line = f.readline() 
while line: 
    parsed = string.split(line, u'\u0001') 

    #do some things... 

    line = f.readline() 
for en in engines: 
    print(en) 

Answer 1

Tôi không hiểu tại sao điều này nên khó khăn như vậy.

Bạn đang làm gì chính xác? Vui lòng giải thích "cuối cùng nó đọc một ký tự không hợp lệ".

Nó phải là đơn giản như:

import gzip 
fp = gzip.open('foo.gz') 
contents = fp.read() # contents now has the uncompressed bytes of foo.gz 
fp.close() 
u_str = contents.decode('utf-8') # u_str is now a unicode string 

---

EDITED

Câu trả lời này làm việc cho Python2 trong Python3, vui lòng xem câu trả lời @SeppoEnarvi 's tại https://stackoverflow.com/a/19794943/610569 (nó sử dụng chế độ rt cho gzip.open.

Answer 2

Có thể

import codecs 
zf = gzip.open(fname, 'rb') 
reader = codecs.getreader("utf-8") 
contents = reader(zf) 
for line in contents: 
    pass 

Answer 3

Ở dạng pythonic (2.5 hoặc cao hơn)

from __future__ import with_statement # for 2.5, does nothing in 2.6 
from gzip import open as gzopen 

with gzopen('foo.gz') as gzfile: 
    for line in gzfile: 
     print line.decode('utf-8') 

Answer 4

Điều này có thể bằng Python 3.3:

import gzip 
gzip.open('file.gz', 'rt', encoding='utf-8') 

ý rằng gzip.open() đòi hỏi bạn phải xác định rõ ràng chế độ văn bản ('t').

Answer 5

Các lỗi giải mã được sản xuất ở trên. Tôi đã sử dụng điều này:

for line in io.TextIOWrapper(io.BufferedReader(gzip.open(filePath)), encoding='utf8', errors='ignore'): 
    ...