PrimeSim
мультивью world model для симуляции робота
2 min readupdated
PrimeSim — action-conditioned multiview world model, который работает как симулятор робота. На вход получает первый кадр с каждой камеры, промпт и траекторию действий, а на выходе генерирует продолжение. Модель от qiyuan-robot на базе Wan-AI/Wan2.2-TI2V-5B: 5B transformer, библиотека diffusers, обучение на 30 110 часах cross-embodiment данных с 22 платформ.
Ключевые особенности
- Генерирует три камеры одновременно в 192×256 и работает выше 10 FPS.
- 5B transformer на базе Wan2.2-TI2V-5B; есть код inference и training.
- Обучен на 30 110 часах данных с 22 платформ; в симуляции лидирует в 4 из 5 suite WorldSimProbe и показывает лучший общий EWMBench.
- Два чекпоинта:
primesim_base.safetensorsдля fine-tune иprimesim_posttrain_g2.safetensors(causal few-step) для inference. - Веса не self-contained: text encoder, VAE и tokenizer нужно скачать из Wan2.2-TI2V-5B и прописать пути в
config/model/primesim.yaml. - Apache 2.0: веса открыты, но training corpus не распространяется.
Пример
Сначала подтяните недостающие компоненты из базовой модели:
hf download Wan-AI/Wan2.2-TI2V-5B \
--include "models_t5_umt5-xxl-enc-bf16.pth" "Wan2.2_VAE.pth" "google/umt5-xxl/*" \
--local-dir checkpoints
Затем укажите три полученных пути в config/model/primesim.yaml.
Подробнее
Бенчмарки: 4 из 5 suite WorldSimProbe и лучший общий EWMBench.Железо: рекомендуется A100 или H100 80 GB — 5B transformer и 11 GB text encoder одновременно не влезают в 24 GB.
Ограничения: веса не self-contained, training corpus не распространяется.
Лицензия весов: Apache 2.0.










Comments