Khi sử dụng bình thường hóa hàng loạt và bỏ học trong TensorFlow (đặc biệt là sử dụng contrib.layers) tôi có cần phải lo lắng về việc đặt hàng?Đặt hàng chuẩn hóa và thả hàng loạt trong TensorFlow?
Có vẻ như có thể nếu tôi sử dụng bỏ học theo ngay lập tức bằng cách chuẩn hóa hàng loạt có thể có vấn đề. Ví dụ, nếu sự dịch chuyển chuẩn hóa lô thành các con số quy mô lớn hơn của kết quả đào tạo, nhưng sau đó thay đổi tương tự sẽ được áp dụng cho các số tỷ lệ nhỏ hơn (nếu có nhiều đầu ra hơn) mà không bị bỏ học trong quá trình thử nghiệm, sự thay đổi có thể bị tắt. Lớp chuẩn hóa hàng loạt TensorFlow có tự động bù cho điều này không? Hay điều này không xảy ra vì một lý do nào đó tôi bị thiếu?
Ngoài ra, có những cạm bẫy nào khác để tìm kiếm khi sử dụng hai cái này cùng nhau không? Ví dụ: giả sử tôi đang sử dụng chúng theo đúng thứ tự liên quan đến việc nêu trên (giả sử có là đúng thứ tự), có thể gặp sự cố khi sử dụng cả chuẩn hóa hàng loạt và bỏ học trên nhiều lớp liên tiếp? Tôi không ngay lập tức thấy một vấn đề với điều đó, nhưng tôi có thể thiếu một cái gì đó.
Cảm ơn bạn nhiều!
UPDATE:
Một bài kiểm tra thực nghiệm dường như để gợi ý rằng lệnh không vấn đề. Tôi chạy cùng một mạng hai lần chỉ với tiêu chuẩn lô và bỏ học ngược lại. Khi bỏ học là trước khi các định mức hàng loạt, mất xác nhận có vẻ là đi lên như mất đào tạo là đi xuống. Cả hai đều đi xuống trong trường hợp khác. Nhưng trong trường hợp của tôi các chuyển động chậm, vì vậy mọi thứ có thể thay đổi sau khi tập luyện nhiều hơn và nó chỉ là một thử nghiệm duy nhất. Một câu trả lời dứt khoát và thông tin hơn sẽ vẫn được đánh giá cao.
Có vẻ như ngay cả Christian Szegedy giờ cũng thích biểu diễn BatchNorm _after_ ReLU (không phải trước đó). Trích dẫn của F. Chollet, tác giả của Keras: "Tôi đã không quay trở lại để kiểm tra những gì họ đang đề xuất trong bài báo gốc của họ, nhưng tôi có thể đảm bảo rằng mã gần đây được viết bởi Christian áp dụng relu trước BN. Nó vẫn thỉnh thoảng là một chủ đề của cuộc tranh luận, mặc dù. " [nguồn] (https://github.com/fchollet/keras/issues/1802#issuecomment-187966878) – pseudomarvin
Từ cùng một chuỗi như @pseudomarvin cung cấp, dưới đây là một số kết quả từ việc đặt Batch Normalization trước và sau ReLU. Những kết quả này thấy rằng * sau * ReLU tốt hơn: [kết quả] (https://github.com/ducha-aiki/caffenet-benchmark/blob/master/batchnorm.md#bn----before-or-after -relu) – golmschenk
Điều gì về tổng hợp, điều đó sẽ đi vào giữa batchnorm và kích hoạt? – wordsforthewise