system-one-choice
агент для автоматической игры в Magic: The Gathering
2 мин чтенияобновлено
Модель представляет собой специализированный локальный текстовый студент (архитектура choice_text_v1) на базе двунаправленного Transformer encoder, предназначенный для выбора оптимальных игровых действий в движке Magic: The Gathering. В отличие от обычных авторегрессионных чат-ботов, она за один прямой проход (forward pass) кодирует текущее состояние и все легальные ходы, выдавая скоры, вероятности и показатель уверенности для каждого действия. Модель имеет размер около 11.1 млн параметров (preset choice_fresh с d_model=384 и 6 слоями) и обучена в несколько этапов: от текстового претрейна на корпусе FineWeb и правилах игры до поведенческой клонирования (BC) и PPO.
Ключевые особенности
- Специализированная архитектура: Двунаправленный Transformer trunk параллельно счищает состояние и критерии выбора, передавая их в двухслойный MLP для генерации лойтов по всем доступным опциям.
- TypeSafe confidence: Модель вычисляет встроенную уверенность в принимаемом решении на основе распределения вероятностей (softmax).
- Многоэтапное обучение: Включает причинный LM warm-start (корпус ~58 млн символов), поведенческое клонирование (BC) по учителям и PPO-самообучение.
- Легковесность: Около 11.1M параметров позволяют комфортно запускать инференс и дообучение на локальных GPU (например, RTX 3090).
Что можно сделать
- Интеграция в движок: Запустить локального агента для автоматической или полуавтоматической симуляции матчей в эмуляторе
mtgcards(через TUI, Arena или Gym). - Дообучение и дистилляция: Провести soft-label дистилляцию с гибридных стратегий или дообучить модель методами PPO против пула чекпоинтов.
- Оценка и бенчмаркинг: Оценить винрейт агента в матчах против жадных стратегий (greedy) с помощью встроенных скриптов оценки.
Пример
Запуск оценки модели против жадного базового агента:
python -m mtgcards.rl.evaluate --ckpt hf:jedld/system-one-choice --vs greedy --games 10Подробнее
Базовая архитектура: Bidirectional Transformer encoder + parallel criteria scorer + value head.Параметры: ~11.1 млн (d_model=384, 6 layers, 6 heads).
Данные обучения: FineWeb sample (8000 документов), каталог карт, правила игры и траектории симуляций.
Ограничения: Длина состояний ограничена 8192 байтами; модель не заменяет полноценные официальные клиенты Magic Online / Arena и не является авторитетным судьей по правилам вне движка.










Комментарии