CONTROL Resonant IDM
восстановление нажатий геймпада по видео геймплея
2 мин чтенияобновлено
Модель типа IDM (Inverse Dynamics Model — модель обратной динамики, восстанавливающая действия по визуальным изменениям), созданная автором XvKuoMing специально для игры CONTROL Resonant. Она анализирует видеозапись геймплея и для каждого кадра предсказывает, какие из 21 кнопки были нажаты и в каком положении находились оба аналоговых стика. В основе лежит дообученный визуальный энкодер google/siglip2-large-patch16-256 в связке с 4-слойным темпоральным трансформером (общий размер — 329M параметров). В отличие от обычных классификаторов видео, модель работает со скользящим окном из 8 кадров и помогает разметить ролики без логов контроллера, чтобы на них можно было обучать игровых ИИ-агентов.
Ключевые особенности
- Покадрово предсказывает состояние 21 кнопки геймпада и 4 оси обоих стиков в диапазоне [-1, 1].
- Строится на базе SigLIP 2 Large (256×256 px) с пулингом патчей и 4-слойного трансформера с 8 головами внимания.
- Ошибка предсказания стиков на 35–40% ниже базового уровня (когда стики считаются неподвижными).
- Поддерживает как запуск из Python-кода, так и быструю разметку видео через CLI с сохранением в
.npz.
Что можно сделать
- Автоматически разметить записи прохождений CONTROL Resonant для последующего обучения нейросетевых ботов методом поведенческого клонирования.
- Проанализировать стиль игры и частоту использования основных кнопок действий (триггеров и лицевых кнопок) по готовым видеороликам.
- Использовать архитектуру и пайплайн как референс для создания собственных IDM-моделей под другие экшен-игры от третьего лица.
Пример
from huggingface_hub import snapshot_download
import sys
folder = snapshot_download("XvKuoMing/control-resonant-idm")
sys.path.insert(0, folder)
from idm import load, label_video
model = load(folder)
out = label_video(model, "gameplay.mp4") # buttons, probs, sticks
Подробнее
Метрики на 3 тестовых сессиях (88 минут): средняя ошибка стиков 0.086–0.121 (против 0.142–0.180 у бейзлайна), F1 по частым кнопкам до 0.58–0.68 (левый триггер) и 0.50–0.62 (кнопки X, A, B).Обучение: 6.4 часа геймплея одного игрока (логи с частотой 1000 Hz), 8000 шагов с batch size 16; в релиз вошёл чекпоинт с шага 7000.
Требования и вход: видео приводится к 60 fps и сжимается до 256×256 без кропа (с видимым HUD);
label_video занимает около 12 ГБ ОЗУ на час видео, длинные записи лучше резать на куски.Ограничения: работает только с CONTROL Resonant; редкие кнопки (крестовина, нажатия стиков, Start) почти не распознаются, в меню и кат-сценах модель ошибается.










Комментарии