Ecosystem Survivors Ep.17
нейросети, выжившие в симуляции без функции награды
3 мин чтенияобновлено
Набор из 134 эволюционировавших нейросетей и геномов виртуальных существ из 17-го эпизода YouTube-проекта A Million Tries. В эксперименте на GPU запустили 16 изолированных миров по 1000 травоядных со случайными весами мозга, без учителя и без привычной для RL (обучения с подкреплением) функции вознаграждения. Единственным фильтром отбора стало физическое выживание и размножение в течение 25 симулированных лет (9000 дней) с учётом жажды, холода и голода. 15 миров полностью вымерли, а выложенные веса принадлежат единственной выжившей популяции из пятого мира (до 67-го поколения). Модели пригодятся исследователям искусственной жизни, эволюционных алгоритмов и мультиагентных симуляций на JAX и NumPy.
Ключевые особенности
- Компактная архитектура: каждый агент управляется двуслойным перцептроном (33 входа, скрытый слой из 8 нейронов с активацией
tanh, 8 выходов; всего 344 параметра на особь). - 33 сенсорных входа: агенты воспринимают еду и падаль под ногами и в трёх секторах зрения, преграды, сородичей, запахи, звуки, жажду, запас энергии и два числа собственной кратковременной памяти с прошлого шага.
- Эволюция генов и поведения: вместе с весами
wсохранены наследуемые параметры тела — взрослая масса, размер при рождении, запас жира, склонность к падальщичеству (diet~0.1) и шанс размножения без партнёра. - Подтверждённое обучение выживанию: контрольный тест на 5 дней показал, что на 9000-й день популяция с эволюционировавшими весами сохраняет 71% численности против 21% при замене мозга на случайный — агенты научились чаще пить и двигаться медленнее.
Что можно сделать
- Запустить в оригинальной симуляции: загрузить тензоры в среду
games/ecosystem_jax*.pyилиgames/ecosystem_life.pyиз репозитория проекта и понаблюдать за поведением 67-го поколения. - Проанализировать стратегии выживания: исследовать, как веса
w1иw2связывают сенсоры жажды, памяти и атаки (в пятом мире агенты атакуют в 22,6% шагов и на 73% питаются сухой травой). - Использовать как стартовую популяцию: поместить выживших агентов в изменённые климатические условия или скрестить с другими популяциями в собственных экспериментах на JAX.
Пример
В карточке приведена структура тензоров популяции из 134 особей и команда запуска оригинальной среды из репозитория backstab319/a-million-tries (тег episode-17): скрипты scripts/eco_jax_run.py и games/ecosystem_life.py запускаются с флагами --rain --thirst --gut --cold --cold-breath.
Подробнее
Контрольный тест (выживаемость через 5 дней, мир 5): день 3600 — 75% против 23% у случайных весов; день 7200 — 101% против 42%; день 9000 — 71% против 21%.Поведенческий сдвиг на 9000-й день: доля шагов с питьём выросла до 69% (против 45% у случайных), средняя скорость снизилась до 1.21 м/с (против 1.39 м/с).
Размерность весов: тензор
w формы (134, 344) содержит развёрнутые матрицы w1 (33x8), b1 (8), w2 (8x8), b2 (8); карта симуляции — 256 метров.









Комментарии