Viết phân vùng RDD vào các tệp gỗ riêng lẻ trong thư mục riêng của nó

Question

Tôi đang vật lộn với bước mà tôi muốn viết từng phân vùng RDD để phân tách tệp lát gỗ bằng thư mục riêng của nó. Ví dụ sẽ là:

<root> 
     <entity=entity1> 
      <year=2015> 
       <week=45> 
        data_file.parquet 

Advantage của định dạng này là tôi có thể sử dụng trực tiếp trong SparkSQL như cột và tôi sẽ không phải lặp lại dữ liệu này trong tập tin thực tế. Đây sẽ là cách tốt để truy cập vào phân vùng cụ thể mà không lưu trữ siêu dữ liệu phân vùng riêng biệt ở một nơi khác.

Như bước trước, tôi có tất cả dữ liệu được tải từ số lượng lớn tệp gzip và được phân đoạn dựa trên khóa ở trên.

Cách có thể là nhận từng phân vùng dưới dạng RDD riêng biệt và sau đó viết nó mặc dù tôi không thể tìm ra cách nào tốt để thực hiện nó.

Mọi trợ giúp sẽ được đánh giá cao. Bằng cách này tôi mới vào ngăn xếp này.

Answer 1

Tôi nghĩ rằng có thể bằng cách gọi foreachPartition(f: Iterator[T] => Unit) trên RDD bạn muốn lưu.

Trong các chức năng mà bạn cung cấp vào foreachPartition:

1. Chuẩn bị con đường hdfs://localhost:9000/parquet_data/year=x/week=y
2. một ParquetWriter
3. xả Iterator bằng cách chèn mỗi dòng vào recordWriter.
4. dọn dẹp

Answer 2

Tôi không nghĩ rằng câu trả lời được chấp nhận một cách thích hợp trả lời câu hỏi.

Hãy thử một cái gì đó như thế này:

df.write.partitionBy("year", "month", "day").parquet("/path/to/output") 

Và bạn sẽ nhận được cấu trúc thư mục phân vùng.