Sử dụng csvreader đối với tệp được nén trong Python

Question

Tôi có một loạt tệp CSV được nén mà tôi muốn mở để kiểm tra bằng trình đọc CSV được tích hợp sẵn của Python. Tôi muốn làm điều này mà không cần phải giải nén chúng vào đĩa một cách thủ công. Tôi đoán tôi muốn bằng cách nào đó có được một luồng dữ liệu chưa nén, và chuyển nó vào trình đọc CSV. Điều này có thể thực hiện được bằng Python không?

Answer 1

Sử dụng các mô-đun gzip:

with gzip.open(filename) as f: 
    reader = csv.reader(f) 
    #... 

Answer 2

một giải pháp hoàn chỉnh hơn:

import csv, gzip 
class GZipCSVReader: 
    def __init__(self, filename): 
     self.gzfile = gzip.open(filename) 
     self.reader = csv.DictReader(self.gzfile) 
    def next(self): 
     return self.reader.next() 
    def close(self): 
     self.gzfile.close() 
    def __iter__(self): 
     return self.reader.__iter__() 

bây giờ bạn có thể sử dụng nó như thế này:

r = GZipCSVReader('my.csv') 
for map in r: 
    for k,v in map: 
     print k,v 
r.close() 

Answer 3

Tôi đã thử các phiên bản trên để viết và đọc và nó không hoạt động trong Python 3.3 do lỗi "byte". Tuy nhiên, sau khi một số thử nghiệm và lỗi tôi có thể nhận được những điều sau đây để làm việc. Có lẽ nó cũng giúp những người khác:

import csv 
import gzip 
import io 


with gzip.open("test.gz", "w") as file: 
    writer = csv.writer(io.TextIOWrapper(file, newline="", write_through=True)) 
    writer.writerow([1, 2, 3]) 
    writer.writerow([4, 5, 6]) 

with gzip.open("test.gz", "r") as file: 
    reader = csv.reader(io.TextIOWrapper(file, newline="")) 
    print(list(reader)) 

Như amohr cho thấy, các công trình sau đây cũng như:

import gzip, csv 

with gzip.open("test.gz", "wt", newline="") as file: 
    writer = csv.writer(file) 
    writer.writerow([1, 2, 3]) 
    writer.writerow([4, 5, 6]) 

with gzip.open("test.gz", "rt", newline="") as file: 
    reader = csv.reader(file) 
    print(list(reader))