Hearthstone Battlegrounds PPO
нейросеть-игрок для «Полей сражений»
2 мин чтенияобновлено
Чекпоинт model.pt от автора jimmypretend представляет собой нейросеть (policy/value network) для игры в режим Hearthstone Battlegrounds. Модель на 8 млн параметров построена на архитектуре Transformer и обучена методом PPO (обучение с подкреплением с оптимизацией близкой политики) поверх базовой инициализации методом поведенческого клонирования. В отличие от простых скриптовых ботов, сеть кодирует 3984 карты, их 311-мерные векторы характеристик и использует специальный токен z из словаря на 46 стратегий для выбора действий. Подойдёт исследователям reinforcement learning и энтузиастам игрового ИИ, которые работают со средой taverngym.
Ключевые особенности
- Компактный размер: около 8.0M параметров, вес файла
model.ptсоставляет всего ~39 МБ. - Архитектура Transformer: 4 слоя, 8 голов внимания (d=352) с головами оценки ценности (value) и политики действий (policy).
- Глубокое представление карт: учитываются ID 3984 карт, их 311 признаков и токен выбора стратегии (46 вариантов в
z_vocab). - Награда по итогам матча: при обучении использовалась функция полезности по занятым местам от 1.0 за первое до -0.2 за восьмое.
Что можно сделать
- Подключить веса к совместимому коду сети и симулятору
taverngymдля симуляции матчей и оценки стратегий. - Использовать чекпоинт как базовую инициализацию для дообучения под новые патчи или другие архетипы (текущая версия склонна выбирать свинобразов).
- Проанализировать поведение модели на разных токенах
zиз словаряnet_config.z_vocabдля изучения игровых сборок.
Пример
Для корректного запуска модели в окружении требуются обязательные маски ограничений при инференсе: no_cancel_choose = 1 (отключение опции отмены выбора) и keep_start_board = 1 (ограничение на продажу существ). Без этих параметров среднее занятое место ухудшается примерно на 0.1–0.14 пункта.
Подробнее
Внутренний тест (1024 игры на 4 сидах против библиотеки fsdyn85_exam): среднее место 3.474, доля первых мест — 19.6%.Источник весов: внутренний прогон R4 (итерация 1000), из файла удалены состояние оптимизатора и локальные пути.
Ограничения: код сети и игровой движок taverngym не включены в репозиторий; привязка к конкретному патчу игры.
Лицензия: CC BY-NC 4.0 (только некоммерческое использование с указанием авторства).










Комментарии