Yếu tố nhân và bổ sung nào để sử dụng khi thực hiện tỷ lệ học tập thích nghi trong mạng thần kinh?

Question

Tôi mới sử dụng mạng nơron và, để nắm bắt vấn đề này, tôi đã triển khai MLP chuyển tiếp cơ bản mà tôi hiện đang đào tạo thông qua quá trình truyền lại. Tôi biết rằng có nhiều cách phức tạp hơn và tốt hơn để làm điều đó, nhưng trong Introduction to Machine Learning, họ đề xuất rằng với một hoặc hai thủ thuật, độ dốc cơ bản có thể có hiệu quả cho việc học hỏi từ dữ liệu thế giới thực. Một trong các thủ thuật là tỷ lệ học tập thích ứng.

Ý tưởng là để tăng tỷ lệ học bởi một giá trị không đổi một khi lỗi được nhỏ hơn, và giảm nó bằng một phần nhỏ b của tỷ lệ học khi lỗi được lớn hơn. Vì vậy, về cơ bản sự thay đổi tỷ lệ học được xác định bởi:

+(a) 

nếu chúng ta đang học tập đúng hướng, và

-(b * <learning rate>) 

nếu chúng ta đang làm hỏng việc học của chúng tôi. Tuy nhiên, trên cuốn sách trên không có lời khuyên về cách thiết lập các thông số này. Tôi sẽ không mong đợi một gợi ý chính xác vì việc điều chỉnh tham số là một chủ đề hoàn toàn, nhưng chỉ là một gợi ý ít nhất về thứ tự độ lớn của chúng. Bất kỳ ý tưởng?

Cảm ơn bạn,
Tunnuz

Answer 1

tôi đã không nhìn mạng thần kinh cho thời gian dài nhất (10 năm +) nhưng sau khi tôi thấy câu hỏi của bạn tôi nghĩ rằng tôi sẽ có một trinh sát nhanh về. Tôi tiếp tục nhìn thấy những con số tương tự khắp nơi trên internet liên quan đến tăng (một) và giảm (b) yếu tố (1,2 & 0,5 tương ứng).

Tôi đã quản lý để theo dõi các giá trị này xuống Martin Riedmiller và Heinrich Braun's RPROP algorithm (1992). Riedmiller và Braun khá cụ thể về các thông số hợp lý để lựa chọn.

Xem: RPROP: A Fast Adaptive Learning Algorithm

Tôi hy vọng điều này sẽ giúp.