Call Denoiser V4
сверхлёгкий шумодав для звонков с задержкой 10 мс
2 min readupdated
Компактная нейросеть от автора Stavion-Colquitt для очистки речи от фонового шума в реальном времени. В основе лежит лёгкая рекуррентная архитектура с двухслойным GRU (256 нейронов) на 988 тысяч параметров, работающая с асимметричными окнами STFT (кратковременного преобразования Фурье). В отличие от прошлых версий с задержкой 200 мс, четвёртая ревизия укладывается в 10 мс алгоритмической задержки и обходит зашумлённый оригинал по всем метрикам качества. Пригодится разработчикам голосовых приложений, стриминговых сервисов и конференц-связи, которым нужна быстрая фильтрация звука прямо на CPU без видеокарты.
Ключевые особенности
- Минимальная алгоритмическая задержка — всего 10 мс при работе блоками по 5 мс (80 сэмплов).
- Высокая скорость на CPU: в ONNX Runtime обработка 5 мс звука занимает 0,15 мс (RTF 0,03).
- Компактный размер: 988 тыс. параметров, в репозитории есть готовые веса в форматах ONNX и PyTorch.
- Сохраняет исходную фазу сигнала, предсказывая только магнитудную маску — это убрало артефакты прошлой версии.
Что можно сделать
- Встроить в клиент звонков или голосовой чат для подавления фонового гула на лету без нагрузки на процессор.
- Подключить к пайплайну распознавания речи (ASR) как препроцессинг моно-аудио 16 кГц перед транскрибацией.
- Использовать в офлайн-режиме для пакетной очистки диктофонных записей и подкастов от стационарных шумов.
Пример
# pip install onnxruntime numpy
from stream import StreamEngine, process_file
eng = StreamEngine() # ожидает call_denoiser_v4.onnx рядом
y_block = eng.process(x_block) # float32[80] при 16 кГц -> очищенный блок
y = process_file(x) # офлайн-обработка всего моно-массива 16 кГцПодробнее
Бенчмарк VoiceBank-DEMAND (824 файла): PESQ 2.58 (против 1.97 у исходника), STOI 0.930, SI-SDR 17.21 дБ.Железо: работает на обычном CPU (0,15 мс на блок в ONNX Runtime); сама модель обучалась на RTX 2060.
Данные: 60% VoiceBank-DEMAND и 40% DNS Challenge со смешиванием шума на лету (SNR от -5 до 20 дБ).
Ограничения: только моно 16 кГц; убирает шум, но не реверберацию, и не рассчитана на SNR ниже -5 дБ или перебивающих спикеров.










Comments