Viết và đọc các mảng byte thô trong Spark - sử dụng Sequence File SequenceFile

Question

Làm thế nào để bạn viết RDD[Array[Byte]] vào một tệp bằng cách sử dụng Apache Spark và đọc lại nó?

Answer 1

Các sự cố thường gặp có vẻ lạ lùng không thể truyền ngoại lệ từ BytesWritable sang NullWritable. Vấn đề phổ biến khác là BytesWritable getBytes là một đống vô nghĩa vô nghĩa mà không nhận được byte chút nào. Những gì getBytes không nhận được byte của bạn hơn là thêm một tấn số không vào cuối! Bạn phải sử dụng copyBytes

val rdd: RDD[Array[Byte]] = ??? 

// To write 
rdd.map(bytesArray => (NullWritable.get(), new BytesWritable(bytesArray))) 
    .saveAsSequenceFile("/output/path", codecOpt) 

// To read 
val rdd: RDD[Array[Byte]] = sc.sequenceFile[NullWritable, BytesWritable]("/input/path") 
    .map(_._2.copyBytes())