Kimodo-SOMA-RP-v1.2

Kimodo-SOMA-RP-v1.2 — обновлённая модель NVIDIA семейства Kimodo (Kinematic Motion Diffusion). Это диффузионная two-stage Transformer-модель на 282M параметров, которая генерирует 3D-скелетную анимацию тела по текстовому промпту и/или ограничениям движения. Обучена на 30-суставном скелете SOMA и проприетарном датасете Bones Rigplay.

⚙ Ключевые особенности

• 🎬 Генерирует 3D-скелетную анимацию по тексту и ограничениям: позам всего тела, позициям концевых суставов, траекториям и вейпоинтам.
• ⚙ Архитектура — диффузионная two-stage Transformer; 282M параметров, выход 30 fps.
• 📌 В v1.2 исправлены train-сплиты: убраны тестовые последовательности BONES-SEED, попавшие в обучение v1.1. Меньше foot skating, точность ограничений на уровне v1.1, но R-precision/FID немного ниже.
• 💼 Разрешено коммерческое использование по NVIDIA Open Model License: демонстрации для гуманоидных роботов, digital twin, синтетические данные, игры и медиа.
• 🖥 Работает на NVIDIA GPU поколений Ampere, Blackwell и Lovelace через PyTorch; поддерживаются Linux и Windows.

💻 Пример

Промпт: «A person walks slowly with shuffled steps».
Ограничения: ключевые позы, позиции суставов и траектория движения.
Результат: до 300 кадров скелетной анимации при 30 fps — максимум 10 секунд.

Подробнее

Конкретных цифр бенчмарка в карточке нет — есть отсылка к таблицам Motion Generation Benchmark.
Выход: root translation и joint rotations, 30 fps, до 10 с.
Тестировали на RTX 3090/4090/5090, A100, L40S, L4, RTX 6000 Ada и RTX A6000.
Ограничения: возможен foot skating, модель не всегда следует тексту, не учитывает объекты сцены и выдаёт движение для одного скелета персонажа.