SAVA
модель потокового определения речи и конца реплики
2 мин чтенияобновлено
SAVA — это открытая модель от Inworld с 25,5 млн параметров, которая анализирует аудиопоток и в реальном времени выдает две вероятности: наличие речи в кадре и завершение реплики (end-of-turn). Архитектура сочетает блоки Mamba-2 и механизм внимания, что позволяет точно отделять человеческий голос от кашля, смеха или шума клавиатуры. Модель работает на процессоре или видеокарте, потребляет минимум ресурсов и идеально подходит для разработчиков голосовых ассистентов.
Ключевые особенности
- Гибридная архитектура на базе блоков Mamba-2 и механизмов внимания.
- Низкая задержка: определение речи с упреждением (lookahead) 120 мс, а конца реплики — мгновенно.
- Легковесность: всего 25,5 миллиона параметров, эффективная работа на CPU и GPU.
- Устойчивость к шумам: фильтрует посторонние звуки вроде кашля, музыки и стука клавиш.
Что можно сделать
- Встроить в голосовой бот для естественного определения моментов, когда пользователь закончил говорить.
- Запустить локальный пайплайн распознавания и сегментации речи с помощью официальной библиотеки.
- Разработать интерактивное голосовое приложение с поддержкой микрофона и обработки потокового аудио.
Пример
from inworld import sava
model = sava.load("inworld/sava")
curves = sava.run(model, sava.load_audio("recording.wav"))
turns = sava.segment(curves, sava.Policy(), model.lookahead_frames)
Подробнее
Бенчмарки: сравнение с Silero VAD и pipecat smart-turn v3.2Оборудование: протестировано на GPU NVIDIA и CPU (на Apple M3 Max — 3.8 мс на кадр 40 мс)
Входные данные: моноаудио 16 кГц, выдача результатов каждые 40 мс
Лицензия: Apache-2.0, веса и код открыты










Комментарии