messi-football-g16
RL-агент для игры в футбол 11 на 11
2 min readupdated
Модель представляет собой политику (стратегию поведения) для симуляции футбольного матча 11 на 11 в движке MESSI (soccerworld на JAX). На каждом шаге нейросеть управляет полевым игроком своей команды, который находится ближе всех к мячу, а остальных десятерых, включая вратаря, контролирует встроенный алгоритмический ИИ. Модель обучена в три этапа с применением SFT (обучение с учителем на действиях базового ИИ), PPO и 16 поколений алгоритма PSRO, где каждое поколение учится обыгрывать смесь всех предыдущих. В результате агент стабильно превосходит встроенный ИИ симулятора и ранние версии самого себя. Подойдёт исследователям в области Reinforcement Learning (обучения с подкреплением) и мультиагентных систем.
Ключевые особенности
- Управляет одним ближайшим к мячу полевым игроком на каждом шаге, выдавая 36 параметров действия: вектор движения, выбор удара, 8 направлений дриблинга, низовые и верховые пасы на каждого из 11 партнёров и 3 точки удара по воротам.
- Построена на архитектуре
TargetNet(hidden=256, n_players=11)с рекуррентным слоем GRU и индивидуальными эмбеддингами слотов для игроков. - Обучалась в 3 стадии: SFT на встроенном ИИ, PPO с накоплением градиентов и 16 поколений PSRO на основе матрицы выигрышей без шума.
- В репозитории выложены веса в формате Flax msgpack (
policy.msgpack), таблица параметров ударовkick_table.jsonи сетка ожидаемой угрозыxt.json.
Что можно сделать
- Изучить веса и конфигурацию
args.jsonдля анализа того, как формируется стратегия в мультиагентных спортивных средах на JAX. - Использовать политику как сильного спарринг-партнёра или бейзлайн при наличии движка MESSI и скриптов пайплайна.
Пример
Сценарий работы из карточки: на каждом шаге среда передаёт модели наблюдения 11 своих игроков, их доступные действия и по 10 футбольных признаков для каждой цели паса. На выходе TargetNet определяет движение и тип удара для ближайшего к мячу футболиста, а функция kick_choice.decode переводит выбранное действие в физический вектор удара в симуляторе MESSI.
Подробнее
Разница мячей за матч (около 250 матчей на соперника): +2.61 против MESSI rule AI, +2.72 против PPO-политики до PSRO и +0.13 против предыдущего поколения PSRO g15.Ограничения: для запуска требуются движок MESSI и код пайплайна (
messi_net.py, kick_choice.py, tk_ppo.py), которых нет в репозитории.Вратарем всегда управляет встроенный rule AI, а модель использует перехват коротких розыгрышей от вратаря соперника, как и другие агенты в этой среде.










Comments