sử dụng pyspark, đọc/ghi hình ảnh 2D trên hệ thống tệp hadoop

Question

Tôi muốn có thể đọc/ghi hình ảnh trên hệ thống tệp hdfs và tận dụng lợi thế của địa phương hdfs.

Tôi có một bộ sưu tập các hình ảnh trong đó mỗi ảnh gồm

• mảng 2D của uint16
• thông tin bổ sung cơ bản lưu trữ dưới dạng file xml.

Tôi muốn tạo lưu trữ trên hệ thống tệp hdfs và sử dụng tia lửa để phân tích lưu trữ. Ngay bây giờ tôi đang đấu tranh trên cách tốt nhất để lưu trữ dữ liệu trên hệ thống tập tin hdfs để có thể tận dụng tối đa cấu trúc tia lửa + hdfs.

Từ những gì tôi hiểu, cách tốt nhất là tạo trình bao bọc sequenceFile. Tôi có hai câu hỏi:

• Tạo trình tự wrapperFile là cách tốt nhất?
• Có ai có bất kỳ con trỏ nào đến các ví dụ mà tôi có thể sử dụng để bắt đầu không? Tôi không phải là người đầu tiên cần phải đọc một cái gì đó khác với tập tin văn bản trên hdfs thông qua tia lửa!

Answer 1

Tôi đã tìm thấy giải pháp hoạt động: sử dụng tệp nhị phân pyspark 1.2.0 thực hiện công việc. Nó được gắn cờ là thử nghiệm, nhưng tôi đã có thể đọc hình ảnh tiff với một sự kết hợp thích hợp của openCV.

import cv2 
import numpy as np 

# build rdd and take one element for testing purpose 
L = sc.binaryFiles('hdfs://localhost:9000/*.tif').take(1) 

# convert to bytearray and then to np array 
file_bytes = np.asarray(bytearray(L[0][1]), dtype=np.uint8) 

# use opencv to decode the np bytes array 
R = cv2.imdecode(file_bytes,1) 

Lưu ý sự giúp đỡ của pyspark:

binaryFiles(path, minPartitions=None) 

    :: Experimental 

    Read a directory of binary files from HDFS, a local file system (available on all nodes), or any Hadoop-supported file system URI as a byte array. Each file is read as a single record and returned in a key-value pair, where the key is the path of each file, the value is the content of each file. 

    Note: Small files are preferred, large file is also allowable, but may cause bad performance.