Spark - cách bỏ qua hoặc bỏ qua các tệp gzip trống khi đọc

Question

Tôi có một vài trăm thư mục với hàng nghìn tệp văn bản được nén trong s3 và tôi đang cố đọc chúng vào một khung dữ liệu với spark.read.csv().

Trong số các tập tin, có một số với số không dài, dẫn đến lỗi:

java.io.EOFException: Unexpected end of input stream

Code:

df = spark.read.csv('s3n://my-bucket/folder*/logfiles*.log.gz',sep='\t',schema=schema) 

Tôi đã thử đặt mode-DROPMALFORMED và đọc với sc.textFile() nhưng không may mắn.

Cách tốt nhất để xử lý tệp gzip trống hoặc bị hỏng là gì?

Answer 1

Bắt đầu từ Spark 2.1, bạn có thể bỏ qua các tệp bị hỏng bằng cách bật tùy chọn spark.sql.files.ignoreCorruptFiles. Thêm mục này vào lệnh spark-submit hoặc pyspark của bạn:

--conf spark.sql.files.ignoreCorruptFiles=true