PartLock-CMU
бесконечная генерация 3D-движений в реальном времени
2 min readupdated
Лёгкая модель от автора Yakimask превращает короткие английские команды в непрерывную 3D-анимацию человеческого скелета. В отличие от генераторов, выдающих фиксированные ролики, она работает в потоковом режиме и позволяет менять действие прямо на лету — например, плавно перевести персонажа с шага на бег, прыжок или танец сальсы за доли секунды. Архитектура состоит из двух компактных частей: каузального токенизатора (7.5M параметров, сжимающего по 4 кадра в токены отдельных частей тела) и авторегрессионного трансформера-генератора (30.5M параметров) с текстовым энкодером CLIP ViT-B/32. Модель обучена исключительно на открытой базе CMU Motion Capture Database и распространяется под лицензией Apache 2.0, что разрешает её коммерческое использование. Инструмент пригодится разработчикам игр, инди-аниматорам и исследователям для быстрого прототипирования 3D-сцен.
Ключевые особенности
- Бесконечный поток и смена команд на лету: скользящее контекстное окно (64 шага, 8.5 сек) сохраняет предыдущую позу, поэтому смена промпта срабатывает уже через 0.13 сек (4 кадра) без резких рывков.
- Высокая скорость работы: на видеокарте RTX 3060 (12 ГБ) генерация одного шага занимает 35–38 мс при пороге реального времени 133 мс — запас производительности превышает 3.5 раза.
- Готовый веб-интерфейс и экспорт: в комплекте идёт локальный сервер для интерактивного управления в браузере и CLI-скрипт для сохранения анимации скелета из 22 суставов (порядок SMPL) в файл
.npzс частотой 30 fps. - Чистая коммерческая лицензия: веса (Apache 2.0) и датасет CMU позволяют использовать сгенерированные движения в коммерческих проектах (без прямой перепродажи самих данных).
Что можно сделать
- Запустить локальный веб-сервер (
live_server.py) и в реальном времени управлять виртуальным манекеном, переключая команды вродеwalk,kick,boxingилиsalsa dance. - Сгенерировать длинную последовательность действий с заданной длительностью каждого этапа через скрипт
generate.pyи перенести полученные координаты и повороты 22 суставов на риг персонажа в Blender или игровом движке. - Дообучить архитектуру с нуля на собственных записях захвата движения в формате ASF/AMC с помощью прилагаемого пайплайна
run_cmu.py.
Пример
python generate.py --sec 4 --out motion.npz "walk" "Wave" "run/jog" "jump"
Подробнее
Обучение: 2 308 клипов (9.9 ч) из CMU MoCap + зеркалирование; весь пайплайн занял ~3 ч 50 мин на одной RTX 3060 (12 ГБ).Метрики валидации: ошибка реконструкции токенизатора — 57.4 мм по позиции и 9.9° по глобальному повороту; кросс-энтропия генератора — 2.311.
Требования: видеокарта NVIDIA с поддержкой CUDA (проверено на RTX 3060 12 ГБ).
Ограничения: понимает только английский и действия из словаря CMU (незнакомые движения почти не анимируются); плохо смешивает два действия в одной фразе; промпт
run замедляется через 2 сек, лучше использовать run/jog; ретаргетинг скелета на меш персонажа делается пользователем.









Comments