5
Các biến thể Tôi đã tìm thấy khởi tạo Xavier cho trọng số trong một mạng nơron đều đề cập đến một quạt ở và quạt ra; bạn có thể vui lòng cho biết hai thông số đó được tính như thế nào? Cụ thể cho hai ví dụ sau:Làm thế nào để tính toán fan-in và fan-out trong việc khởi tạo Xavier cho các mạng thần kinh?
1) khởi tạo trọng số của lớp chập, với bộ lọc hình dạng [5, 5, 3, 6] (chiều rộng, chiều cao, độ sâu đầu vào, độ sâu đầu ra);
2) khởi tạo trọng số của một lớp được kết nối hoàn toàn, với hình dạng [400, 120] (tức là ánh xạ 400 biến đầu vào lên 120 biến đầu ra).
Cảm ơn!