ReactiveGWM SF3 + KOF98 Mixed
генератор геймплея файтингов по действиям игрока
2 мин чтенияобновлено
Экспериментальный чекпоинт игровой world-модели (модели мира, предсказывающей развитие сцены), который генерирует продолжение видеоролика на основе заданных действий персонажей и текстовых условий. В основе лежит архитектура ReactiveGWM v2, инициализированная с весов SF3/main и дообученная автором xixibuxixi на смешанном наборе из 20 000 записей игр Street Fighter 3 и The King of Fighters '98. В отличие от базовой версии, обученной только на SF3, этот вариант учится воспроизводить динамику сразу двух классических 2D-файтингов. Репозиторий содержит промежуточный срез на 2000 шаге обучения и пригодится исследователям и разработчикам интерактивных нейросетевых симуляторов для тестирования инференса.
Ключевые особенности
- Смешанный датасет: модель обучалась на 10 000 клипов из Street Fighter 3 и 10 000 клипов из KOF98 (всего 20 000 записей).
- Управление действиями: при обучении использовались видео, данные об управлении персонажами и условный текст для предсказания изменений в latent-пространстве (скрытом представлении кадров).
- Параметры видео: чекпоинт настроен на генерацию роликов в разрешении 832 × 480 пикселей длиной 101 кадр при частоте 20 fps.
- Промежуточный срез: выложены веса
checkpoint-2000/model.safetensorsиз запланированных 20 000 шагов, оптимизатор не включён — файл подходит только для генерации, а не для продолжения обучения.
Что можно сделать
- Запустить локальное тестирование интерактивной генерации видео в стиле ретро-файтингов SF3 и KOF98 с помощью оригинального кода ReactiveGWM.
- Сравнить качество реакции на команды управления между базовыми весами
SF3/mainи мульти-игровым чекпоинтом на 2000 шагах обучения.
Пример
В репозитории находятся только веса model.safetensors, config.yaml и metadata.json. Для запуска нужно скачать директорию checkpoint-2000, клонировать код ReactiveGWM (коммит 8d6a9af) и отдельно подготовить внешний VAE, текстовый энкодер и тестовые входные данные по инструкции из оригинального репозитория. На вход подаётся начальный контекст, действия персонажа и текстовые условия, а на выходе модель генерирует 101 кадр геймплея (832 × 480, 20 fps).
Подробнее
Обучение: 2 000 шагов (24 000 семплов с учётом повторов), целевой план — 20 000 шагов.Железо и настройки: 8 × H20 в bf16, effective batch 16 (до 1000 шага — batch 8), learning rate 5e-5, функция потерь future_latent_flow_matching_mse.
Ограничения: независимая валидация и метрики качества ещё не проводились; веса StatePlay Stage C и HY-WorldPlay в репозиторий не входят.










Комментарии