Nơi để thêm bỏ học trong mạng thần kinh?

Question

Tôi đã thấy mô tả về lệ bỏ học ở các bộ phận khác nhau của mạng lưới thần kinh:

1. bỏ học trong ma trận cân,

2. bỏ học trong lớp ẩn sau khi nhân ma trận và trước relu,

3. bỏ học trong lớp ẩn sau khi relu,

4. và bỏ qua điểm đầu ra trước khi chức năng softmax

Tôi hơi bối rối về nơi tôi nên thực hiện việc bỏ học. Ai đó có thể giúp xây dựng về điều đó? Cảm ơn!

Answer 1

Vì vậy:

1. Việc sử dụng đầu tiên bạn đã mô tả được gọi là bỏ học trên trọng lượng.
2. Cách sử dụng thứ hai và thứ ba mà bạn mô tả giống nhau và chúng thường được mô tả là số lượt thả là khi kích hoạt. Người ta có thể dễ dàng nhận thấy rằng nó có thể được đại diện trong điều khoản của bỏ học trên trọng số khi toàn bộ hàng (hoặc cột - tùy thuộc vào việc triển khai) bị tắt.
3. Trong trường hợp thứ 4, đó không phải là cách sử dụng bỏ học thích hợp - lớp bạn muốn sử dụng bỏ học là lớp đầu ra - vì vậy, không nên sử dụng bỏ học ở đó.