AudioSeparatorONNX
модели разделения звука в формате ONNX
2 min readupdated
Репозиторий от автора Acapellas содержит популярные модели для разделения аудиодорожек (UVR5, MDX-Net, VR Architecture и BSRoformer), переведённые в формат ONNX (универсальный формат для запуска нейросетей без привязки к фреймворку). Обычно такие модели требуют Python и тяжёлый PyTorch, но здесь каждый чекпоинт упакован в один автономный файл со всеми настройками внутри. На выходе модель разделяет микс на отдельные стемы — например, выделяет чистый вокал, инструментал или убирает реверберацию и эхо. Решение пригодится разработчикам нативных приложений, мобильных сервисов и серверных пайплайнов.
Ключевые особенности
- Встроенные метаданные: прямо внутрь каждого файла
.onnxвшиты два JSON-блока (sep_metaиmodel_config) с параметрами инференса и конфигурацией обучения — дополнительные YAML- или JSON-файлы не нужны. - Поддержка разных архитектур: в наборе есть модели семейств MDX-Net, VR Architecture и BSRoformer.
- Запуск без Python: модели готовы к работе через библиотеку ONNX Runtime на C++, Swift, Rust, .NET и других языках с поддержкой ускорителей CoreML, TensorRT и DirectML.
- Совместимость с готовыми инструментами: модели MDX и VR работают из коробки в
audio-separatorи UVR (при сбое автоопределения по MD5-хешу параметры можно передать вручную изsep_meta).
Что можно сделать
- Встроить очистку аудио или выделение вокала в нативное десктопное, мобильное или embedded-приложение без таскания за собой интерпретатора Python.
- Развернуть лёгкий серверный пайплайн обработки звука с аппаратным ускорением через TensorRT или DirectML.
- Собрать кастомный инференс для BSRoformer, считывая параметры окна, FFT и частотные индексы напрямую из метаданных файла или через байт-скан последних 64 КБ на C.
Пример
import json
import onnxruntime as ort
sess = ort.InferenceSession("UVR-DeEcho-DeReverb.onnx", providers=["CPUExecutionProvider"])
meta = sess.get_modelmeta().custom_metadata_map
sep_meta = json.loads(meta["sep_meta"])
model_config = json.loads(meta["model_config"])
print(sep_meta["arch"], sep_meta["primary_stem"])
Подробнее
Требования:onnxruntime >= 1.16 для запуска инференса и onnx >= 1.14 для чтения метаданных без сессии.Ограничения: файлы BSRoformer в ONNX предназначены только для собственного пайплайна на ONNX Runtime (в
audio-separator и UVR они запускаются только через PyTorch-чекпоинты), а граф покрывает нейросетевую часть — STFT и обратный iSTFT выполняет вызывающий код.Лицензия репозитория: MIT (перед коммерческим использованием нужно проверять лицензии отдельных исходных моделей).










Comments