NAVA
синхронные видео и звук из одного промпта
2 min readupdated
NAVA — совместный аудио-видео генератор на 6.3B параметров: по текстовому описанию он создаёт видео и звук одновременно, включая диалоги нескольких говорящих с привязкой голоса к реплике по reference WAV (образцу голоса), а также продолжение сцены по первому кадру изображения. В карточке указана команда ERNIE Team (Baidu Inc.). Модель построена на базе Wan2.2-TI2V-5B, а её архитектура Align-then-Fuse MMDiT сначала выстраивает соответствие аудио и видео, затем добавляет текстовый контекст. На Verse-Bench она показывает лучшие Sync-C / Sync-D, качество видео и WER среди open-source AV-baseline, используя в 2–5 раз меньше параметров. Пригодится для быстрых прототипов роликов, сцен с диалогами и озвучкой.
Ключевые особенности
- Совместная генерация видео и стерео-аудио (сцена + речь) без отдельного post-hoc vocoder выравнивания.
- Контроль тембра: reference WAV привязываются к репликам через
<S>...<E>, до двух говорящих. - Управление камерой текстом: композиция, движение и темп задаются промптом.
- 720p и разные соотношения сторон: 1280×704 рекомендуется, 960×960 тоже поддерживается; 37 кадров ≈ 6 с, 55–61 кадр ≈ 9–10 с.
- Один GPU или Ulysses sequence parallel до 8 GPU; bf16, flow matching и UniPC scheduler.
Что можно сделать
- Сгенерировать сцену с диалогом двух персонажей: прописать реплики в
<S>...<E>и подставить два reference WAV. - Задать движение камеры текстом: следование за героем, облёт, смена плана.
- Оживить первый кадр изображения через
image_pathи получить продолжение сцены со звуком. - Собрать пакет промптов в JSONL и запустить генерацию через скрипты или Gradio-демо.
Пример
git clone https://github.com/ernie-research/NAVA && cd NAVA
pip install torch torchvision torchaudio diffusers transformers accelerate
huggingface-cli download <NAVA-repo-id> --local-dir .
bash scripts/inference.sh
Подробнее
Verse-Bench: Sync-C 7.7914, Sync-D 7.5655, WER 0.099; Seed-TTS-eval: WER 5.81, speaker similarity 62.4.Чекпоинт 24 ГБ; дополнительно Wan2.2 VAE 2.7 ГБ, T5 11 ГБ и аудио-VAE 348 МБ.
Выход: 37 кадров ≈ 6 с или 55–61 кадр ≈ 9–10 с; аудио до 10 с; 720p.
Обучение на плотных китайских описаниях: короткие и английские промпты лучше переписывать. Лицензия Apache-2.0.










Comments