InWorld

InWorld — action-conditioned latent video world model на PyTorch от yuduan; по метаданным задача — image-to-video. Модель генерирует видео по VAE-латентам, действиям Rich32 и условиям прогресса денойзинга. В релизе пять стадий S1–S5, финальный чекпоинт — S5 u7000.

🔥 Ключевые особенности

• 🔥 Пять чекпоинтов S1–S5; выбран S5 u7000, общий вес — около 26.3 GB.
• 🧐 Архитектура: 32 блока, ширина 2048, 32 головы; вход — 48-канальные VAE-латенты и Rich32 actions.
• 🚀 Full-ST chunk-causal attention и rolling diffusion-forcing/shortcut sampler.
• 👀 Длинные клипы: до 13 завершённых чанков + 12 активных + якорь первого кадра; short replay — до 6 завершённых.
• ⛔ Для RGB-генерации нужны Wan2.2 VAE и rolling sampler из кода; веса — model-only, без датасетов.

👀 Пример

from huggingface_hub import hf_hub_download
from wm.release import load_release_model

repo = "yuduan/inworld"
prefix = "stages/s5-u7000"
config = hf_hub_download(repo, f"{prefix}/config.json")
weights = hf_hub_download(repo, f"{prefix}/model.safetensors")
model = load_release_model(config, weights, device="cpu")

Подробнее

Бенчмарков в карточке нет.
Веса: около 26.3 GB, пять model-only файлов; сохранена смешанная точность BF16/FP32.
Один чанк — 4 латентных кадра, примерно 0.8 с при 20 FPS и временном stride VAE 4.
Это custom PyTorch-модель; VAE и датасеты нужно получать отдельно.