reactivegwm-sf3-d-v1
файнтюн world-модели для Street Fighter III
2 мин чтенияобновлено
Экспериментальный файнтюн нейросети ReactiveGWM v2 (5.28 млрд параметров) от пользователя xixibuxixi для задачи image-to-video. Модель превращает стартовый кадр и заданную последовательность команд в интерактивную видеосимуляцию матча Street Fighter III. За основу взят официальный чекпоинт SF3/main, но автор дообучил его на 9 500 собственных игровых клипах без примеси данных из других файтингов. Главная цель релиза — восстановить реакцию генератора на дополнительную кнопку управления macro_D, которой не было в стандартном наборе из 20 действий.
Ключевые особенности
- Обучена исключительно на 9 500 клипах Street Fighter III без использования данных из KOF98 и смешанных чекпоинтов.
- Сохраняет 20 базовых действий SF3 и добавляет 21-ю команду управления
macro_Dдля генерации роликов по пользовательским сценариям. - Включает девять дополнительных текстовых описаний стратегий поведения NPC из обучающего датасета.
- Генерирует стандартный отрезок из 101 кадра, разбитый на 25 четырёхкадровых интервалов управления.
Что можно сделать
- Запускать интерактивные видеороллауты матчей Street Fighter III через официальный код ReactiveGWM v2, подавая на вход собственный JSON со сценарием из 25 действий.
- Исследовать на практике, какие игровые приёмы и анимации выучила модель для новой метки
macro_Dи девяти стратегий NPC.
Пример
Для запуска используйте репозиторий ReactiveGWM v2, указав данный чекпоинт вместе с прилагаемой папкой text/ и файлами config.yaml и metadata.json. В пользовательском JSON управления для каждого управляемого персонажа задаётся ровно 25 действий (например, стандартные команды SF3 в сочетании с macro_D), после чего модель генерирует видеопоследовательность длиной 101 кадр.
Подробнее
Обучение: 1 188 шагов (около 1 эпохи, 9 504 примера) на 8 GPU NVIDIA H20 в точности BF16 при learning rate 1e-5.Метрики на отложенной выборке (100 клипов): holdout loss — 0.243562, holdout MSE — 0.268072.
Ограничения: полный бенчмарк SF3 Att/Move ещё не пройден; при пересечении бойцов или смене сторон возможны ошибки идентификации ролей.
Для корректного инференса требуется сохранить оригинальную таблицу текстовых меток из папки
text/, а также стандартные VAE и токенизатор из инструкции SF3.









Комментарии