Tại sao bỏ học ngăn chặn sự hội tụ trong Mạng Thần kinh Liên kết?

Question

Tôi đang sử dụng tensorflow để đào tạo một convnet với một bộ 15000 hình ảnh đào tạo với 22 lớp. Tôi có 2 lớp đối tượng và một lớp được kết nối hoàn toàn. Tôi đã đào tạo mạng lưới với 15.000 hình ảnh và đã trải nghiệm sự hội tụ và độ chính xác cao trên tập huấn luyện.

Tuy nhiên, bộ thử nghiệm của tôi đang gặp phải độ chính xác thấp hơn nhiều nên tôi giả sử rằng mạng quá phù hợp. Để chống lại điều này tôi đã thêm bỏ học trước khi lớp được kết nối đầy đủ của mạng của tôi.

Tuy nhiên, việc thêm bỏ học đã khiến mạng không bao giờ hội tụ sau nhiều lần lặp lại. Tôi đã tự hỏi tại sao điều này có thể xảy ra. Tôi thậm chí đã sử dụng một xác suất bỏ học cao (giữ xác suất là .9) và đã trải qua cùng một kết quả.

Answer 1

Cũng bằng cách làm cho xác suất bỏ học của bạn 0,9 điều đó có nghĩa là có 10% cơ hội kết nối nơron đó bị tắt trong mỗi lần lặp. Vì vậy, để bỏ học cũng phải có giá trị tối ưu.

Như ở trên bạn có thể hiểu với bỏ học chúng tôi cũng đang mở rộng quy mô tế bào thần kinh của chúng ta. Trường hợp trên là 0,5 thả ra. Nếu nó là o.9 thì một lần nữa sẽ có một tỷ lệ khác nhau.

Vì vậy, về cơ bản nếu đó là 0,9 bỏ học, hãy xác suất chúng tôi cần phải chia tỷ lệ bằng 0,9. Có nghĩa là chúng tôi đang nhận được một cái gì đó lớn hơn 0,1 trong thử nghiệm.

Chỉ bằng cách này, bạn có thể có ý tưởng về việc bỏ học có thể ảnh hưởng như thế nào. Vì vậy, bởi một số xác suất nó có thể bão hòa các nút của bạn vv mà gây ra vấn đề không hội tụ ..