Tổng quát Q-learning để làm việc với một không gian * hành động * liên tục

Question

Tôi đang cố gắng tìm hiểu các chuyển động của chuột cần thiết để thực hiện tốt nhất một số nhiệm vụ trong cài đặt học tăng cường (tức là tín hiệu thưởng là phản hồi duy nhất cho học tập).

Tôi hy vọng sẽ sử dụng kỹ thuật Q-learning, nhưng trong khi tôi đã tìm thấy a way to extend this method to continuous state spaces, tôi dường như không thể tìm ra cách để giải quyết vấn đề với không gian tác vụ liên tục.

Tôi chỉ có thể buộc tất cả chuyển động của chuột có độ lớn nhất định và chỉ với một số hướng nhất định, nhưng cách hợp lý để thực hiện hành động rời rạc sẽ mang lại một không gian hành động rất lớn. Vì Q-learning chuẩn yêu cầu tác nhân đánh giá tất cả các hành động có thể là, một phép tính gần đúng không giải quyết được vấn đề theo bất kỳ ý nghĩa thực tế nào.

Answer 1

Cách phổ biến để giải quyết vấn đề này là với actor-critic methods. Những tự nhiên mở rộng đến không gian hành động liên tục. Q-learning cơ bản có thể phân kỳ khi làm việc với xấp xỉ, tuy nhiên, nếu bạn vẫn muốn sử dụng nó, bạn có thể thử kết hợp nó với một bản đồ tự tổ chức, như được thực hiện trong "Applications of the self-organising map to reinforcement learning". Bài báo cũng chứa một số tài liệu tham khảo thêm bạn có thể thấy hữu ích.

Answer 2

Đối với những gì bạn đang làm, tôi không tin rằng bạn cần phải làm việc trong không gian hành động liên tục. Mặc dù chuột vật lý di chuyển trong không gian liên tục, nhưng con trỏ chỉ di chuyển theo các bước riêng biệt (thường ở mức pixel), do đó, việc nhận được bất kỳ độ chính xác nào trên ngưỡng này có vẻ như sẽ không ảnh hưởng đến hiệu suất của tác nhân. Không gian nhà nước vẫn còn khá lớn, nhưng nó là hữu hạn và rời rạc.

Answer 3

Có nhiều cách để mở rộng việc học tăng cường cho các hành động liên tục. Một cách là sử dụng các phương pháp diễn viên-nhà phê bình. Một cách khác là sử dụng các phương thức gradient chính sách.

Một lời giải thích khá rộng rãi của phương pháp khác nhau có thể được tìm thấy trong các giấy tờ sau đây, trong đó có sẵn trực tuyến: Reinforcement Learning in Continuous State and Action Spaces

Answer 4

Nhanh chóng chuyển tiếp đến năm nay, folks từ DeepMind đề xuất một cốt sâu tìm hiểu phương pháp diễn viên-nhà phê bình đối phó với cả không gian hành động và trạng thái liên tục. Nó dựa trên một kỹ thuật được gọi là gradient chính sách xác định. Xem giấy Continuous control with deep reinforcement learning và một số implementations.