AURA-1.3B
аудиоуправляемый потоковый аватар для генерации говорящих голов
2 мин чтения
Модель от лаборатории Kyutai превращает портретную картинку и речевой аудиопоток в видео с говорящим человеком (talking-head) в реальном времени. В основе лежит архитектура на базе Wan2.1-T2V-1.3B, объединенная с аудиомодулями Mimi (звуковые токены) и дистиллированная из учителя с помощью DMD (Distribution Matching Distillation). Модель выдает 576p видео на скорости около 20.7 кадров в секунду на одной карте H100 и отлично сохраняет исходную идентичность лица (CSIM). Релиз предназначен для исследователей и разработчиков интерактивных видеоаватаров (лицензия CC BY-NC 4.0).
Ключевые особенности
- Потоковая генерация в реальном времени: выдает результат чанк за чанком с использованием скользящего KV-кеша (rolling KV cache).
- Высокая точность лица: демонстрирует лучшую сохранность идентичности (CSIM) среди сравниваемых методов на тестах HALLO3 и CelebV-HQ.
- Эффективная дистилляция: четырехшаговый студенческий пайплайн (4 denoising steps) ускоряет генерацию в 23 раза по сравнению с базовым учителем.
- Два формата весов: доступны готовые автономные файлы (*_merged) для быстрой работы и исходные чекпоинты (LoRA-only) для дообучения.
Что можно сделать
- Оживить портрет: сгенерировать реалистичное видео говорящего человека по статичной фотографии и аудиозаписи речи.
- Создать интерактивного аватара: внедрить модель в систему стриминга или чат-бота с поддержкой генерации видео на лету.
- Провести исследования: использовать LoRA-only чекпоинты и файлы конфигурации для настройки пайплайнов дистилляции (ODE и DMD).
Пример
git clone [https://github.com/kyutai-labs/aura](https://github.com/kyutai-labs/aura) && cd aura
uv sync
uv run generate.py --image portrait.jpg --audio speech.wav --output out.mp4Подробнее
Бенчмарки HALLO3: FID 56.8, FVD 177.1, CSIM 0.84Требования к железу: одна карта H100 в статье (~16-20+ fps)
Архитектура: Block-wise causal over chunks 4 латентных кадра (~0.64 с)
Ограничения: лицензия CC BY-NC 4.0 (только некоммерческое использование)










Комментарии