WVY-3D-1M
сверхлёгкая нейросеть для авто-риггинга и анимации 3D-существ
2 мин чтенияобновлено
Модель WVY-3D-1M состоит всего из 1 миллиона параметров и умеет автоматически расставлять скелет (риг) для 3D-моделей существ, назначать веса кожи (skin weights) и генерировать анимацию движений. Проект написан с нуля на чистом numpy с самописным движком автодифференцирования без использования PyTorch, а инференс работает прямо в браузере на JavaScript. Архитектура объединяет модуль распознавания формы тела и миниатюрный трансформер MotionGPT, который создаёт последовательности поз по текстовым промптам.
Ключевые особенности
- Написана с нуля: чистый numpy без тяжёлых библиотек машинного обучения.
- Две основные части: RigNet для предсказания суставов по поверхности и MotionGPT для генерации движений.
- Браузерный инференс: модель работает локально в веб-среде с использованием экспортированных весов.
- Шесть базовых планов тела: поддержка двуногих, четвероногих, птиц, рыб, змей и насекомых.
Что можно сделать
- Запустить инференс модели прямо в Node.js или протестировать её работу в браузере.
- Автоматически расставить кости и настроить веса вершин для созданных 3D-мешей существ.
- Сгенерировать последовательность анимационных поз для персонажей по текстовым командам вроде
quadruped:run. - Использовать полученных анимированных персонажей в интерактивных веб-сценах.
Пример
Запуск инференса в Node.js для генерации рига и анимации бега:
['sculpt','species','objects','brain'].forEach(f => require('./code/engine/' + f + '.js'));
const B = globalThis.RigBrain, S = globalThis.RigSculpt;
B.loadWeights(JSON.parse(require('fs').readFileSync('browser_weights_fp16.json')));
const fox = S.makeCreature({ family: 'quadruped', species: 'fox', seed: 1 });
const rig = B.learnedRig(fox.verts, fox.faces);
const poses = B.writeMotion('quadruped', 'run', 60, S.RNG(1));Подробнее
Общий размер: ≈1.07 млн параметров (RigNet — 234 тыс., MotionGPT — 755 тыс., токенизатор поз — 77 тыс.)Обучение: процедурные данные, около 17 минут для RigNet и 26 минут для MotionGPT на 1 ядре CPU
Ограничения: поддерживается только 6 фиксированных типов тел, обучение проводилось на процедурных данных, а не на захвате движений (mocap)










Комментарии