Đào tạo mạng nơ-ron với sự tăng cường học tập

Question

Tôi biết những kiến ​​thức cơ bản về mạng nơron và làm cách nào để đào tạo chúng bằng thuật toán backpropagation, nhưng tôi đang tìm một thuật toán hơn tôi có thể sử dụng để đào tạo ANN trực tuyến.

Ví dụ: sự cố cart pole swing up là sự cố tôi muốn giải quyết bằng ANN. Trong trường hợp đó, tôi không biết phải làm gì để kiểm soát con lắc, tôi chỉ biết tôi ở vị trí lý tưởng đến mức nào. Tôi cần phải có ANN học dựa trên phần thưởng và hình phạt. Do đó, học tập được giám sát không phải là một lựa chọn.

Tình huống khác giống như snake game, nơi phản hồi bị trì hoãn và giới hạn đối với mục tiêu và mục tiêu chống thay vì phần thưởng.

Tôi có thể nghĩ ra một số thuật toán cho tình huống đầu tiên, như thuật toán leo núi hoặc thuật toán di truyền, nhưng tôi đoán cả hai sẽ chậm. Chúng cũng có thể được áp dụng trong kịch bản thứ hai, nhưng cực kỳ chậm và không có lợi cho việc học trực tuyến.

Câu hỏi của tôi rất đơn giản: Có một thuật toán đơn giản để đào tạo mạng nơron nhân tạo với việc học tăng cường không? Tôi chủ yếu quan tâm đến các tình huống phần thưởng theo thời gian thực, nhưng nếu một thuật toán cho các tình huống dựa trên mục tiêu có sẵn, thậm chí tốt hơn.

Answer 1

Có một số tài liệu nghiên cứu về chủ đề này:

• Efficient Reinforcement Learning Through Evolving Neural Network Topologies (2002)
• Reinforcement Learning Using Neural Networks, with Applications to Motor Control
• Reinforcement Learning Neural Network To The Problem Of Autonomous Mobile Robot Obstacle Avoidance

Và một số mã:

• Code examples để học tăng cường mạng thần kinh.

Đó chỉ là một số kết quả tìm kiếm hàng đầu trên Google về chủ đề này. Hai giấy tờ đầu tiên trông giống như chúng khá tốt, mặc dù tôi chưa đọc chúng một cách cá nhân. Tôi nghĩ bạn sẽ tìm thấy nhiều thông tin hơn về các mạng thần kinh với việc học tăng cường nếu bạn thực hiện tìm kiếm nhanh trên Google Scholar.

Answer 2

Nếu đầu ra dẫn đến phần thưởng r được truyền lại vào mạng r lần, bạn sẽ tăng cường mạng tương ứng với phần thưởng. Điều này không áp dụng trực tiếp cho phần thưởng âm, nhưng tôi có thể nghĩ đến hai giải pháp sẽ tạo ra các hiệu ứng khác nhau:

1) Nếu bạn có bộ phần thưởng trong phạm vi rmin-rmax, hãy đổi lại thành 0-(rmax-rmin) để chúng tất cả đều không tiêu cực. Phần thưởng càng lớn thì cốt thép càng mạnh.

2) Đối với phần thưởng âm -r, truyền lại một đầu ra ngẫu nhiên r lần, miễn là nó khác với phần thưởng dẫn đến phần thưởng âm. Điều này sẽ không chỉ củng cố các đầu ra mong muốn, mà còn khuếch tán hoặc tránh các đầu ra xấu.