DeepFilterNet3-onnx
шумоподавление речи без PyTorch
2 мин чтенияобновлено
Неофициальный порт известной модели подавления шума DeepFilterNet3 в формат ONNX (универсальный формат для быстрого запуска нейросетей без тяжёлых фреймворков). Модель очищает голосовые записи от фоновых помех на частоте дискретизации 48 кГц и возвращает чистый аудиофайл. Репозиторий основан на оригинальном чекпоинте эпохи 120 от Хендрика Шрётера и включает готовый Python-скрипт DeepFilterNet3Onnx.py. Главное отличие от оригинала — вся предобработка и постобработка сигнала переписаны на чистом NumPy, поэтому для работы не нужны PyTorch, df или libdf. Решение пригодится разработчикам сервисов обработки аудио, ботов и пайплайнов транскрибации, которым нужен лёгкий деплой через ONNX Runtime.
Ключевые особенности
- Нулевая зависимость от PyTorch: вся математика (STFT, ERB-признаки и глубокая фильтрация) реализована на NumPy поверх ONNX Runtime.
- Модульная структура: сеть разделена на три файла — энкодер (
enc.onnx), ERB-декодер (erb_dec.onnx) и декодер глубокой фильтрации (df_dec.onnx). - Подтверждённая точность: расхождение с оригинальной PyTorch-версией на тестовом файле
noisy_snr0.wavне превышает 3.1e-5. - Автономная загрузка: класс
DeepFilterNet3Onnxсам скачивает нужные файлы из репозитория или работает из локальной папки.
Что можно сделать
- Встроить очистку голоса перед распознаванием речи (ASR) в Telegram-ботах или голосовых ассистентах без установки многогигабайтного PyTorch.
- Использовать в серверных пайплайнах постобработки подкастов, интервью и звонков с частотой дискретизации 48 кГц.
- Интегрировать в десктопные или кроссплатформенные приложения на базе ONNX Runtime, где критичен размер дистрибутива.
Пример
import soundfile as sf
from DeepFilterNet3Onnx import DeepFilterNet3Onnx
model = DeepFilterNet3Onnx("SayedShaun/DeepFilterNet3-onnx")
audio, sr = sf.read("noisy.wav", dtype="float32")
enhanced = model.enhance(audio, sr=sr)
sf.write("enhanced.wav", enhanced, sr)
Подробнее
Формат входа: строго моно-аудио 48 кГц (обработка файла целиком за один проход, потоковый режим не поддерживается).Экспорт выполнен с opset 12 без пост-фильтра и упрощения графа (PyTorch 2.2.2, ONNX 1.23.2, ONNX Runtime 1.32.0).
Максимальная абсолютная разница с оригиналом по компонентам: 4.8e-6 (энкодер), 6.3e-7 (ERB-декодер), 1.2e-7 (DF-декодер).
Лицензия кода и весов: двойная MIT / Apache 2.0.










Комментарии