RaifuWars-RL-ActionScorer-Cards
компактные RL-боты для стратегии Raifu Wars с поддержкой карт
2 min readupdated
Разработчики из yotisstudios опубликовали набор из четырёх компактных нейросетевых политик (моделей принятия решений в RL — обучении с подкреплением) для пошаговой стратегии Raifu Wars. Каждая модель содержит всего 73 602 параметра, подключается к игре через протокол Warrior и выступает в роли полноценного игрока. Это первые опубликованные политики для данной игры, обученные видеть и разыгрывать игровые карты по тем же правилам, что и человек. В релиз вошли две универсальные модели и два узких специалиста для карты Cornfield. Набор пригодится разработчикам игрового ИИ и исследователям компактных архитектур для задач с переменным числом доступных действий.
Ключевые особенности
- Двухбашенная архитектура (Two towers): состояние игры (99 признаков) и каждое доступное действие (85 признаков) кодируются отдельно, после чего перемножаются. Это позволяет оценивать от 2 до нескольких сотен легальных ходов за раз без привязки к их фиксированному числу.
- Работа с колодой из 49 карт: признаки состояния и действий включают описание карт на руке, в игре и их эффектов, включая карты, которые встроенный ИИ игры никогда не использует.
- Четыре готовых чекпоинта:
hr-ft-24h.pt(лучший против встроенного ИИ),at-ft.pt(дообучен ещё 24 часа, сильнее в матчах друг против друга), а такжеcornfield-league.ptиcornfield-greedy.ptдля карты Cornfield. - Многоэтапное обучение: модели прошли путь от клонирования поведения встроенного ИИ (behaviour cloning) до обучения методом PPO в симуляторе Hemlock против лиги собственных прошлых версий.
Что можно сделать
- Запустить локальный сервер с выбранным чекпоинтом и подключить его как бота в клиенте Raifu Wars для игры в режиме free-for-all Tiers.
- Использовать весовые файлы и архитектуру как компактный бенчмарк или базовое решение для экспериментов с RL в пошаговых стратегиях с динамическим списком действий.
Пример
RW_FEAT_CARDS=1 python serve.py hr-ft-24h.pt --port 8899
# далее укажите адрес [http://127.0.0.1:8899](http://127.0.0.1:8899) для слота Warrior в игре
Подробнее
Бенчмарки в реальной игре (free-for-all на 4 игрока против 3 встроенных ботов, карты отключены, случайный шанс победы 25%):hr-ft-24h победил в 79,2% матчей (114/144) на 6 тренировочных картах и в 75,9% (216 матчей) на расширенном наборе с 8 незнакомыми картами.В симуляторе Hemlock (2000 матчей друг против друга)
at-ft выигрывает у hr-ft-24h со счётом 55,8% против 44,0%. На карте Cornfield специалисты cornfield-greedy и cornfield-league поднимают винрейт против трёх жадных скриптов с 56,4% (у at-ft) до 89,1% и 86,4%.Требования и ограничения: требуется флаг окружения
RW_FEAT_CARDS=1; политики обучены и проверены только в режиме free-for-all Tiers на сборке с автоматическим повышением тира; реальные матчи в бенчмарке проводились с выключенными картами.









Comments