HDemucs-High-Vocals-ONNX
выделение вокала из аудио без PyTorch
2 мин чтенияобновлено
Модель извлекает вокальную дорожку из готового микса: на вход подаётся 10-секундный стереофрагмент (44.1 кГц) и его спектрограмма STFT (кратковременное преобразование Фурье), а на выходе получается временная ветка и частотный спектр чистого голоса. В основе лежат оригинальные веса HDEMUCS_HIGH_MUSDB_PLUS из пакета torchaudio (обучены Meta на датасете MUSDB-HQ и 150 дополнительных треках), переведённые автором chartreuse-verte в формат ONNX. Главное отличие от оригинала — отсутствие зависимости от тяжёлого фреймворка PyTorch: граф использует только стандартные операторы и запускается через легкий движок onnxruntime (от версии 1.17 и выше) даже на CPU. Пригодится разработчикам аудиоприложений, ботов и локальных утилит для очистки речи от фоновой музыки.
Ключевые особенности
- Полная автономность от PyTorch: весит 335 МБ, собрана в ONNX Opset 17 (IR 8) и работает на стандартном CPU-провайдере
onnxruntime. - Точность оригинала: при обёртке в numpy STFT/iSTFT с перекрытием в 1 секунду совпадает с эталонным HDemucs из torchaudio с показателем 83 dB SDR или лучше на клипах до 60 секунд.
- Эффективное подавление музыки: при отделении голоса от пианино, пэдов, ударных и баса уровень шума в паузах падает с −18…−36 дБ до −45…−77 дБ, а средний SI-SDR вырастает с 18 до 22 дБ.
- Открытая лицензия MIT: модель и исходные веса можно свободно использовать в своих проектах.
Что можно сделать
- Встроить выделение вокала в десктопный аудиоредактор, веб-сервис или Telegram-бот без необходимости тащить в контейнер гигабайты библиотек PyTorch.
- Использовать как шаг предобработки перед распознаванием речи (ASR) или созданием караоке-минусовок, чтобы убрать музыкальную подложку из записи.
Пример
Для получения готового аудиофайла нужно подать на вход графа нормализованный стереосегмент wave формы (1, 2, 441000) и его комплексную спектрограмму spec формы (1, 4, 2048, 431) (n_fft 4096, hop 1024), а затем сложить выходной тензор time с обратным преобразованием Фурье (iSTFT) от выхода freq.
Подробнее
Ограничения: это разделитель музыки, а не шумодав — фоновый шум комнаты и гул сети модель почти не убирает.Особенности голоса: обычная речь проходит с качеством 43–45 дБ SI-SDR, но шёпот и голос с придыханием частично воспринимаются как аккомпанемент (17% кадров теряют более 6 дБ).
Железо и формат: файл
hdemucs-high-vocals.onnx (335 МБ, float32), совместим с onnxruntime 1.17+ на CPU.









Комментарии