audiosronnx-voiceisolator
потоковое выделение целевого голоса в ONNX
2 мин чтенияобновлено
Набор готовых ONNX-графов на базе моделей Scicom voice-isolator для библиотеки audiosronnx. Модель решает задачу target-speaker extraction (выделение голоса конкретного говорящего): она оставляет в аудиопотоке только нужного спикера, вырезая посторонние голоса и фоновый шум, и работает с частотой 16 кГц на входе и выходе. Определить целевой голос система может либо по короткому образцу (enrollment clip), либо автоматически по самым громким 3 секундам входного сигнала. В отличие от тяжелых PyTorch-реализаций, здесь собраны компактные потоковые графы — от легких CPU-версий на 22M параметров до крупной GPU-сборки на 555M с каузальным WavLM-Large. Решение пригодится разработчикам голосовых ассистентов, систем транскрибации и приложений для звонков.
Ключевые особенности
- Работает в потоковом (streaming) режиме с задержкой всего 10 мс для CPU-версий (шаг GPU-версии фиксирован на 50 фреймах или 0,5 с).
- Включает 6 вариантов сборки: базовую CPU-модель (22M, 85 МБ), ее квантованную 8-битную версию (25 МБ), крупную GPU-версию (555M, 2,2 ГБ), а также модификации
agentс порогом присутствия речи (presence gate). - Состоит из двух графов в каждой папке:
enroll.onnxизвлекает вектор голоса спикера, аstep.onnxпошагово фильтрует спектр. - Точность вывода совпадает с оригинальными реализациями: максимальная абсолютная ошибка составляет 0.0 для CPU-вариантов и не превышает 1.2e-7 для
large/agent/.
Что можно сделать
- Встроить в голосового ИИ-агента (используя вариант
agentс presence gate), чтобы бот слышал только пользователя и игнорировал фоновые разговоры. - Подключить как этап предобработки перед ASR (распознаванием речи) в библиотеке
audiosronnxдля очистки звонков и записей диктофона. - Запустить легкую 8-битную версию (
int8/весом 25 МБ) локально на устройствах без видеокарты для фильтрации речи в реальном времени.
Пример
from audiosronnx import load_denoise
iso = load_denoise("voiceisolator") # CPU-версия
iso = load_denoise("voiceisolator", model="agent") # с presence gate
iso = load_denoise("voiceisolator", quantized=True) # 8-bit
iso = load_denoise("voiceisolator", enrollment="me.wav") # привязка к голосу
clean, rate = iso.denoise("call.wav") # rate == 16000
Подробнее
Архитектура: потоковые ONNX-графы на базе Scicom-intl/voice-isolator-cpu (22M) и Scicom-intl/voice-isolator (555M, включает каузальный WavLM-Large).Сверка с оригиналом (Parity): 0.0 max abs err на 22 с для всех CPU-графов; 7.5e-8 на 14 с для large/ и 1.2e-7 для large/agent/ (float32).
Требования и формат: аудио 16 кГц; расчет STFT, overlap-add и кольцевых буферов внимания (10 с) выполняется в numpy; вес файлов от 25 МБ (int8) до 2.2 ГБ (large).
Ограничения: в оригинальном репозитории указана лицензия other без приложенного текста условий.










Комментарии