Cuộc sống nhân tạo với mạng nơron

Question

Tôi đang cố gắng xây dựng mô phỏng tiến hóa đơn giản của các tác nhân được điều khiển bởi mạng thần kinh. Trong phiên bản hiện tại, mỗi tác nhân có lưới thần kinh chuyển tiếp với một lớp ẩn. Môi trường chứa lượng thức ăn cố định được biểu thị dưới dạng chấm đỏ. Khi một nhân viên di chuyển, anh ta mất năng lượng, và khi anh ấy ở gần thực phẩm, anh ta sẽ có năng lượng. Đại lý với 0 năng lượng chết. đầu vào của mạng thần kinh là góc hiện tại của tác nhân và một véc-tơ đến thực phẩm gần nhất. Mỗi bước thời gian, góc chuyển động của mỗi tác nhân được thay đổi bởi đầu ra của mạng thần kinh của nó. Mục tiêu của khóa học là để xem hành vi tìm kiếm thực phẩm phát triển sau một thời gian. Tuy nhiên, không có gì xảy ra.

Tôi không biết vấn đề là cấu trúc mạng neural (quá đơn giản?) Hay cơ chế sinh sản: để ngăn chặn sự bùng nổ dân số, dân số ban đầu là khoảng 20 đại lý, và khi dân số gần 50, cơ hội sinh sản tiến tới 0. Khi quá trình tái tạo xảy ra, cha mẹ được chọn bằng cách xem danh sách các tác nhân từ đầu đến cuối và kiểm tra từng tác nhân có hay không một số ngẫu nhiên từ 0 đến 1 nhỏ hơn tỷ lệ giữa năng lượng của tác nhân này và tổng của năng lượng của tất cả các tác nhân. Nếu vậy, tìm kiếm kết thúc và tác nhân này trở thành cha mẹ, khi chúng ta thêm vào môi trường bản sao của tác nhân này với một số xác suất đột biến trong một hoặc nhiều trọng số trong mạng thần kinh của mình.

Cảm ơn trước!

Answer 1

Nếu môi trường đủ lành tính (ví dụ, thật dễ dàng để tìm thức ăn) thì việc di chuyển ngẫu nhiên có thể là một chiến lược hoàn toàn khả thi và thành công sinh sản có thể bị ảnh hưởng nhiều hơn nhiều so với bất kỳ thứ gì khác. Cũng xem xét các hậu quả ngoài ý muốn: ví dụ, nếu con cái được kết hợp với cha mẹ thì cả hai đều ngay lập tức cạnh tranh nhau trong khu vực địa phương và điều này có thể đủ bất lợi để dẫn đến cái chết của cả hai trong dài hạn.

Để kiểm tra hệ thống của bạn, hãy giới thiệu một cá nhân có mạng lưới thần kinh "premade" được thiết lập để chỉ đạo cá nhân trực tiếp về thực phẩm gần nhất (mô hình của bạn tồn tại và dễ ghi lại, phải không? Nếu không, nó không hợp lý để mong đợi nó phát triển!). Giới thiệu cá nhân đó vào mô phỏng của bạn trong khối lượng câm. Nếu cá nhân không nhanh chóng thống trị, nó cho thấy mô phỏng của bạn không được thiết lập để củng cố hành vi đó. Nhưng nếu cá nhân thích thành công sinh sản và nó và hậu duệ của nó tiếp quản, thì mô phỏng của bạn đang làm điều gì đó đúng và bạn cần phải tìm nơi khác vì lý do hành vi đó không phát triển.

Cập nhật để đáp ứng với bình luận:

Dường như với tôi trộn này góc độ và vectơ là không rõ ràng. Cho dù cá nhân có thể phát triển theo hướng "di chuyển thẳng về phía thực phẩm gần nhất" phải thay vì phụ thuộc vào một chức năng atan có thể được xấp xỉ bởi mạng của bạn (tôi hoài nghi). Một lần nữa, điều này cho thấy xét nghiệm hơn:

• dành tất cả các mô phỏng sinh thái và chỉ cần kiểm tra làm xáo trộn dân của phong cách của bạn trong mạng ngẫu nhiên để xem họ có thể phát triển theo hướng chức năng mong đợi.
• (đơn giản hơn, tốt hơn) Có đầu ra mạng một vec-tơ (thay vì một góc): hướng mà cá nhân phải di chuyển (tất nhiên điều này có nghĩa là có 2 nút đầu ra thay vì một). Rõ ràng chiến lược "di chuyển thẳng về thực phẩm" chỉ là sự chuyển tiếp thẳng của thành phần vectơ "hướng tới thức ăn", và điều thú vị là xem liệu các mạng ngẫu nhiên của bạn có tiến triển theo chức năng nhận diện đơn giản này không? cho phép giới thiệu một cá thể được tối ưu hóa readymade như mô tả ở trên).

Tôi cũng không chắc chắn về "lượng thức ăn cố định". (Tôi giả sử bạn có nghĩa là ngay sau khi một chấm đỏ được tiêu thụ, một số khác được giới thiệu). Một mô hình "thực tế" hơn có thể là giới thiệu thức ăn với tốc độ không đổi, và không áp đặt bất kỳ giới hạn dân số nhân tạo nào: giới hạn dân số được xác định bởi những giới hạn của việc cung cấp thực phẩm. Ví dụ: Nếu bạn giới thiệu 100 đơn vị thức ăn mỗi phút và cá nhân cần 1 đơn vị thức ăn mỗi phút để tồn tại, thì mô phỏng của bạn nên tìm thấy nó có khuynh hướng hướng tới một dân số trung bình dài hạn là 100 cá nhân mà không cần kẹp để tránh " bùng nổ dân số "(mặc dù bùng nổ và phá sản, động lực ăn chay hoặc đói có thể thực sự xuất hiện tùy thuộc vào chi tiết).

Answer 2

Điều này nghe có vẻ như là một vấn đề đối với Reinforcement Learning, cũng có một số online textbook tốt.