Chức năng chuẩn hóa lô đúng trong Tensorflow là gì?

Question

Trong tensorflow 1.4, tôi thấy hai chức năng mà làm việc bình thường hàng loạt và họ trông giống nhau:

1. tf.layers.batch_normalization (link)
2. tf.contrib.layers.batch_norm (link)

Những chức năng tôi nên sử dụng? Cái nào ổn định hơn?

Answer 1

Chỉ cần thêm vào danh sách, đó là một vài cách hơn để làm batch-norm trong tensorflow:

• tf.nn.batch_normalization là một op ở mức độ thấp. Người gọi có trách nhiệm tự xử lý mean và variance bản thân.
• tf.nn.fused_batch_norm là một mức độ thấp khác, tương tự như phiên bản trước. Sự khác biệt là nó được tối ưu hóa cho các đầu vào đầu vào 4D, đó là trường hợp thông thường trong các mạng nơ-ron xoắn ốc. tf.nn.batch_normalization chấp nhận hàng chục cấp bậc lớn hơn 1.
• tf.layers.batch_normalization là trình bao bọc cấp cao hơn các op trước đó. Sự khác biệt lớn nhất là nó sẽ chăm sóc tạo và quản lý các hoạt động trung bình và biến thiên tensors, và gọi một op hợp nhất nhanh chóng khi có thể. Thông thường, đây phải là lựa chọn mặc định cho bạn.
• tf.contrib.layers.batch_norm là việc triển khai hàng loạt chỉ tiêu hàng loạt, trước khi nó được chuyển thành API lõi (tức là, tf.layers). Việc sử dụng nó không được khuyến cáo vì nó có thể bị loại bỏ trong các bản phát hành trong tương lai.
• tf.nn.batch_norm_with_global_normalization là một phiên bản không được chấp nhận khác. Hiện tại, đại biểu cuộc gọi đến tf.nn.batch_normalization nhưng có thể bị hủy trong tương lai.
• Cuối cùng, cũng có lớp Keras keras.layers.BatchNormalization, trong trường hợp chương trình phụ trợ kéo dài gọi tf.nn.batch_normalization.

Answer 2

Như hiển thị trong doc, tf.contrib là mô-đun đóng góp chứa mã dễ bay hơi hoặc thử nghiệm. Khi function hoàn tất, nó sẽ bị xóa khỏi mô-đun này. Bây giờ có hai, để tương thích với phiên bản lịch sử.

Vì vậy, trước đây, tf.layers.batch_normalization được khuyến nghị.