бесконечная генерация 3D-движений в реальном времени
schedule 2 мин чтенияобновлено
Лёгкая модель от автора Yakimask превращает короткие английские команды в непрерывную 3D-анимацию человеческого скелета. В отличие от генераторов, выдающих фиксированные ролики, она работает в потоковом режиме и позволяет менять действие прямо на лету — например, плавно перевести персонажа с шага на бег, прыжок или танец сальсы за доли секунды. Архитектура состоит из двух компактных частей: каузального токенизатора (7.5M параметров, сжимающего по 4 кадра в токены отдельных частей тела) и авторегрессионного трансформера-генератора (30.5M параметров) с текстовым энкодером CLIP ViT-B/32. Модель обучена исключительно на открытой базе CMU Motion Capture Database и распространяется под лицензией Apache 2.0, что разрешает её коммерческое использование. Инструмент пригодится разработчикам игр, инди-аниматорам и исследователям для быстрого прототипирования 3D-сцен.
Ключевые особенности
Бесконечный поток и смена команд на лету: скользящее контекстное окно (64 шага, 8.5 сек) сохраняет предыдущую позу, поэтому смена промпта срабатывает уже через 0.13 сек (4 кадра) без резких рывков.
Высокая скорость работы: на видеокарте RTX 3060 (12 ГБ) генерация одного шага занимает 35–38 мс при пороге реального времени 133 мс — запас производительности превышает 3.5 раза.
Готовый веб-интерфейс и экспорт: в комплекте идёт локальный сервер для интерактивного управления в браузере и CLI-скрипт для сохранения анимации скелета из 22 суставов (порядок SMPL) в файл .npz с частотой 30 fps.
Чистая коммерческая лицензия: веса (Apache 2.0) и датасет CMU позволяют использовать сгенерированные движения в коммерческих проектах (без прямой перепродажи самих данных).
Что можно сделать
Запустить локальный веб-сервер (live_server.py) и в реальном времени управлять виртуальным манекеном, переключая команды вроде walk, kick, boxing или salsa dance.
Сгенерировать длинную последовательность действий с заданной длительностью каждого этапа через скрипт generate.py и перенести полученные координаты и повороты 22 суставов на риг персонажа в Blender или игровом движке.
Дообучить архитектуру с нуля на собственных записях захвата движения в формате ASF/AMC с помощью прилагаемого пайплайна run_cmu.py.
ПодробнееОбучение: 2 308 клипов (9.9 ч) из CMU MoCap + зеркалирование; весь пайплайн занял ~3 ч 50 мин на одной RTX 3060 (12 ГБ). Метрики валидации: ошибка реконструкции токенизатора — 57.4 мм по позиции и 9.9° по глобальному повороту; кросс-энтропия генератора — 2.311. Требования: видеокарта NVIDIA с поддержкой CUDA (проверено на RTX 3060 12 ГБ). Ограничения: понимает только английский и действия из словаря CMU (незнакомые движения почти не анимируются); плохо смешивает два действия в одной фразе; промпт run замедляется через 2 сек, лучше использовать run/jog; ретаргетинг скелета на меш персонажа делается пользователем.
Совет: берите 8-bit.FP8 / INT8 почти не отличается по качеству от полной точности (разница в пределах процента), а памяти занимает вдвое меньше и на RTX 40/50, H100 работает быстрее. Полную точность есть смысл брать только для дообучения.
Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.
HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.
# Yakimask/PartLock-CMU
mkdir -p ~/models
curl -LsSf https://astral.sh/uv/install.sh | sh
source "$HOME/.local/bin/env"
uv tool install "huggingface_hub[cli]"
hf download Yakimask/PartLock-CMU --local-dir ~/models/PartLock-CMU
# Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
Комментарии