Tôi có thể sử dụng lớp chuẩn hóa hàng loạt ngay sau lớp đầu vào và không chuẩn hóa dữ liệu của mình không? Tôi có thể mong đợi để có được hiệu quả/hiệu suất tương tự không?Chuẩn hóa hàng loạt thay vì chuẩn hóa đầu vào
Trong keras chức năng nó sẽ là một cái gì đó như thế này:
x = Input (...)
x = Batchnorm(...)(x)
...
Bạn có thể làm điều đó. Nhưng điều tốt đẹp về batchnorm, ngoài việc ổn định phân phối kích hoạt, là độ lệch trung bình và độ lệch chuẩn có thể di chuyển khi mạng học.
Có hiệu quả, đặt ngay sau khi lớp đầu tiên là lớp ưa thích xử lý trước dữ liệu bước. Nó giúp, đôi khi rất nhiều (ví dụ như trong hồi quy tuyến tính). Nhưng sẽ dễ dàng hơn và hiệu quả hơn để tính giá trị trung bình và phương sai của toàn bộ mẫu đào tạo một lần, hơn là tìm hiểu nó theo lô. Lưu ý rằng batchnorm không miễn phí về hiệu suất và bạn không nên lạm dụng nó.