StatePlay-KOF98-MoT-5B-step1250

Это неофициальный экспериментальный StatePlay world model от xixibuxixi, обученный на видео и последовательностях кнопок из «The King of Fighters '98». Основа — Wan-AI/Wan2.2-TI2V-5B; опубликован полный BF16 StatePlay DiT примерно на 5,1 млрд параметров и 30 слоёв.

🎯 Ключевые особенности

• 🎯 Обучение шло на датасете lupele/kof98: 10 000 тренировочных и 100 тестовых видео; действия — UP DOWN LEFT RIGHT Y X Z A B C D, action hold window 10.
• 🧩 Два этапа: 350 шагов дообучения transition tokenizer, затем 1250 шагов нового MoT/implicit-state файнтюна от базового Wan2.2-TI2V-5B DiT.
• 🦾 В репозитории полный safetensors для инференса: 1317 тензоров плюс два замороженных patch embedding от Wan; strict load, без LoRA и старых SFT-checkpoint.
• ⚙ Генерация: 97 кадров, 832×480, 20 fps, 30 шагов денойзинга; в examples/ есть 4 сравнения с тестовой выборки.
• 💡 Для запуска нужен существующий проект StatePlay и каталог base_model с Wan VAE, UMT5-XXL и текстовым tokenizer; transition tokenizer для чистого видео-инференса не загружается.

💡 Пример

python ./kof98_step1250/infer_sft_project.py \
  --project-root /path/to/stateplay \
  --base-model /path/to/stateplay/base_model \
  --weights ./kof98_step1250/StatePlay-KOF98-MoT-5B-step-1250.safetensors \
  --image /path/to/first_frame.png \
  --prompt-file /path/to/prompt.txt \
  --actions /path/to/actions.parquet \
  --output ./kof98_result.mp4

Подробнее

Обучение: 16 GPU, global batch 128, BF16, LR 5e-5; на втором этапе — DeepSpeed ZeRO-2.
Валидация: 4 тестовых видео по 97 кадров, все кадры декодируются; это smoke test, не полный benchmark.
Ограничения: траектории не повторяют реальное видео покадрово, а сильные эффекты и быстрые взаимодействия в конце могут давать пересвет, смазы и деформации.
Полное состояние обучения step-1250 (~252,6 ГБ) не опубликовано; репозиторий — личный эксперимент, не официальный релиз StatePlay или Wan.