Sentis Audio2Face-3D
лицевая анимация по голосу прямо в Unity
2 мин чтенияобновлено
Неофициальный порт диффузионной модели NVIDIA Audio2Face-3D v3.0 от разработчика Sky-Kim, упакованный в готовый пакет для Unity Sentis (библиотеки для запуска нейросетей внутри движка). Модель превращает голосовую дорожку или поток с микрофона в 52 веса блендшейпов ARKit (мимических морфов лица) с частотой 60 кадров в секунду. Главный плюс перед оригиналом — для работы больше не нужны Audio2Face SDK, CUDA, TensorRT или Python: вся логика, включая солвер кожи, переписана на C# и работает на GPUCompute или CPU прямо в игре.
Ключевые особенности
- Работа в реальном времени и по клипам: поддерживает как генерацию анимации для готового
AudioClip, так и потоковую обработку чанков с микрофона или TTS (синтезатора речи). - Три встроенных профиля: доступны пресеты мимики для персонажей Claire, James и Mark, а также настройка вектора эмоций из 10 значений и сида диффузии.
- Совместимость с MetaHuman и Live Link: кривые легко маппятся на стандартные ARKit-блендшейпы, порядок Apple Live Link Face и риг MetaHuman URP.
- Автоматическая оптимизация при сборке: в редакторе используется модель в fp32 (730 МБ), а при билде проекта хук сам конвертирует и упаковывает веса в Float16 (365 МБ) с минимальной потерей точности.
Что можно сделать
- Оживить NPC в играх на Unity: подключить выход TTS-системы к потоковому API, чтобы персонажи с ARKit-совместимыми лицами или MetaHuman синхронно открывали рот и проявляли эмоции в диалогах.
- Сделать анимированный аватар под микрофон: использовать встроенный пример Blendshape Player для управления мимикой 3D-персонажа живым голосом без сторонних серверов.
Пример
using Audio2Face;
// Генерация анимации для целого аудиоклипа
float[][] frames = await A2FGenerator.GenerateAsync(clip, new A2FOptions { identity = A2FIdentity.Claire });
// Потоковый режим (микрофон или чанки TTS)
using var stream = await A2FStream.CreateAsync(new A2FOptions());
stream.Push(samples16k);
await stream.PumpAsync();
Подробнее
Скорость на Apple M5 Max (Metal) для шага 0.5 с: ~50 мс на GPUCompute (в 9.4 раза быстрее реального времени) и ~200 мс на CPU (2.3x).Точность: расхождение с оригинальным солвером BVLS из SDK не превышает 8.7e-12, а разница между fp32 и Float16 весами — 3e-4.
Требования: Unity 6 (протестировано на 6000.6.6f1), пакет
com.unity.ai.inference 2.6.1 и установленный git-lfs перед импортом.Ограничения: не поддерживаются блендшейпы языка (
tongueOut), повороты глаз, жёсткая трансформация челюсти и модуль Audio2Emotion.









Комментарии