PrimeSim

PrimeSim — action-conditioned multiview world model, который работает как симулятор робота. На вход получает первый кадр с каждой камеры, промпт и траекторию действий, а на выходе генерирует продолжение. Модель от qiyuan-robot на базе Wan-AI/Wan2.2-TI2V-5B: 5B transformer, библиотека diffusers, обучение на 30 110 часах cross-embodiment данных с 22 платформ.

🔥 Ключевые особенности

• 👀 Генерирует три камеры одновременно в 192×256 и работает выше 10 FPS.
• 🤖 5B transformer на базе Wan2.2-TI2V-5B; есть код inference и training.
• 💯 Обучен на 30 110 часах данных с 22 платформ; в симуляции лидирует в 4 из 5 suite WorldSimProbe и показывает лучший общий EWMBench.
• 🔥 Два чекпоинта: primesim_base.safetensors для fine-tune и primesim_posttrain_g2.safetensors (causal few-step) для inference.
• ⛔ Веса не self-contained: text encoder, VAE и tokenizer нужно скачать из Wan2.2-TI2V-5B и прописать пути в config/model/primesim.yaml.
• 🚫 Apache 2.0: веса открыты, но training corpus не распространяется.

🚀 Пример

Сначала подтяните недостающие компоненты из базовой модели:

hf download Wan-AI/Wan2.2-TI2V-5B \
  --include "models_t5_umt5-xxl-enc-bf16.pth" "Wan2.2_VAE.pth" "google/umt5-xxl/*" \
  --local-dir checkpoints

Затем укажите три полученных пути в config/model/primesim.yaml.

Подробнее

Бенчмарки: 4 из 5 suite WorldSimProbe и лучший общий EWMBench.
Железо: рекомендуется A100 или H100 80 GB — 5B transformer и 11 GB text encoder одновременно не влезают в 24 GB.
Ограничения: веса не self-contained, training corpus не распространяется.
Лицензия весов: Apache 2.0.