DAW Vocal Denoiser v1d
легкая модель для очистки вокала в реальном времени
2 мин чтенияобновлено
DAW Vocal Denoiser v1d — это компактная модель (1.25 миллиона параметров) на базе GRU (рекуррентная нейросеть), предназначенная для удаления шумов из вокальных дорожек и речи. Версия v1d добавляет 5 мс заглядывания вперед (lookahead), достигая 15 мс общей алгоритмической задержки. Такая архитектура дает качество, сопоставимое с моделями вдвое большего размера, но при этом требует меньше ресурсов процессора. Инструмент пригодится музыкантам и звукорежиссерам для мониторинга и очистки записей в живом времени.
Ключевые особенности
- Низкая задержка: алгоритмическая задержка всего 15 мс, подходит для мониторинга в реальном времени.
- Эффективность: качество на уровне вдвое более тяжелых моделей при половине требований к процессору.
- Компактность: размер файла ONNX составляет всего 5 МБ.
- Качество звука: высокая точность очистки без повреждения чистых участков аудио.
Что можно сделать
- Очистка вокала: встроить модель в DAW (цифровую звуковую рабочую станцию) для подавления шумов комнаты при записи.
- Использование через Docker: запустить контейнер для пакетной обработки файлов или поднять локальный HTTP-сервер.
- Интеграция в Python: использовать ONNX Runtime для потоковой или офлайн-обработки аудио.
Пример
Пример использования модели для потоковой обработки аудио в Python:
# pip install onnxruntime numpy
from stream import StreamEngine # ожидает daw_denoiser.onnx рядом
eng = StreamEngine()
y_block = eng.process(x_block) # float32[240] на 48 кГц -> очищенные семплы
from stream import process_file # офлайн-обработка массива
y = process_file(x)Подробнее
• SI-SDR: 23.43 дБ, SDR: 24.03 дБ, PESQ-WB: 3.11• Требования: 0.23 мс CPU на блок 5 мс, формат ONNX (5.0 МБ)
• Ограничения: только моно, 48 кГц; удаляет шум, а не реверберацию
• Обучение: 108 779 шагов на RTX 4060










Комментарии