Preprocess một tensor Floworflow trong Numpy

Question

Tôi đã thiết lập một CNN trong Tensorflow, nơi tôi đọc dữ liệu của mình bằng TFRecordReader. Nó hoạt động tốt nhưng tôi muốn làm một số tiền xử lý trước và tăng cường dữ liệu hơn được cung cấp bởi các hàm tf.image. Tôi đặc biệt muốn làm một số quy mô ngẫu nhiên.

Có thể xử lý tensor Tensorflow trong Numpy không? Hoặc tôi có cần phải loại bỏ TFRecordReader và thay vì thực hiện tất cả tiền xử lý của tôi trong Numpy và cung cấp dữ liệu bằng cách sử dụng feed_dict? Tôi nghi ngờ rằng phương thức feed_dict chậm khi đào tạo về hình ảnh, nhưng tôi có thể sai?

Answer 1

Nếu bạn có thể tạo đường dẫn I/O tùy chỉnh tìm nạp kết quả trung gian từ TensorFlow bằng một hoặc nhiều luồng, áp dụng logic Python tùy ý, sau đó nạp chúng vào hàng đợi để xử lý tiếp theo. Chương trình kết quả sẽ phức tạp hơn một chút, nhưng tôi khuyên bạn nên xem threading and queues HOWTO để biết thông tin về cách bắt đầu.

---

Có một nghiệm tính năng mà có thể làm cho dễ dàng hơn này, nếu bạn install from source.

Nếu bạn đã xây dựng một đường ống tiền xử lý bằng cách sử dụng các biến TensorFlow, cách dễ nhất để thêm mã Python tùy chỉnh là sử dụng toán tử tf.py_func(), có danh sách các đối tượng Tensor và hàm Python ánh xạ một hoặc nhiều NumPy mảng cho một hoặc nhiều mảng NumPy.

Ví dụ, giả sử bạn có một đường ống như thế này:

reader = tf.TFRecordReader(...) 
image_t = tf.image.decode_png(tf.parse_single_example(reader.read(), ...)) 

... bạn có thể sử dụng tf.py_func() áp dụng một số chế biến NumPy tùy chỉnh như sau:

from scipy import ndimage 
def preprocess(array): 
    # `array` is a NumPy array containing. 
    return ndimage.rotate(array, 45) 

image_t = tf.py_func(preprocess, [image_t], [tf.float32])