Splitwave models
разделение песен на вокал и минус прямо в браузере
2 мин чтенияобновлено
Набор оптимизированных ONNX-моделей для деления аудиодорожек на вокал, инструментал, лид-партию и бэк-вокал локально на компьютере пользователя через WebGPU или WebAssembly. В репозиторий вошли четыре проверенные модели от авторов UVR, viperx и aufr33: тяжёлые и точные BS-RoFormer и Mel-Band RoFormer в формате fp16, а также быстрые UVR-MDX-NET в исходном fp32. Главное отличие от оригинальных чекпоинтов — адаптация архитектуры RoFormer под ограничения WebGPU без потери точности вычислений, что позволяет запускать их без мощного бэкенда. Релиз пригодится разработчикам веб-приложений для работы со звуком, караоке-сервисов и музыкантам.
Ключевые особенности
- Готовность к WebGPU и WebAssembly: разделение частотных полос (band split) в RoFormer перестроено под лимиты браузерного рендеринга с сохранением исходной математики.
- Два режима работы под разные задачи: модели RoFormer отвечают за максимальное качество, а лёгкие MDX-Net — за высокую скорость обработки.
- Смешанная точность (fp16/fp32): для компактности веса RoFormer переведены в fp16, но слои нормализации и таблицы позиций оставлены в fp32 для сохранения качества.
- Проверка целостности: в комплекте идёт файл
manifest.jsonс размерами и хешами SHA-256 для верификации скачанных весов в приложении.
Что можно сделать
- Встроить в веб-сервис: запустить онлайн-инструмент для создания минусовок или извлечения акапелл, где все вычисления идут на устройстве пользователя без затрат на серверные GPU.
- Сделать браузерное караоке: использовать связку из моделей разделения вокала и отсечения лид-партии (
mel_roformer_karaoke_fp16.onnxилиmdx_kara_2.onnx), оставляя только бэк-вокал. - Настроить выбор пресетов: предложить пользователям переключатель между быстрым предпросмотром на MDX-Net и финальным рендером в высоком качестве на BS-RoFormer.
Пример
Модели RoFormer принимают на вход 8-секундный фрагмент стерео-спектрограммы STFT размером [1, 2050, 801, 2] (при параметрах n_fft 2048 и hop 441) и возвращают комплексную маску, на которую умножается исходный спектр перед обратным преобразованием STFT в самом приложении.
Подробнее
Качество разделения: BS-RoFormer (ep 317) показывает SDR 12.98, а Mel-Band RoFormer karaoke — SDR 10.20.Состав:
bs_roformer_fp16.onnx и mel_roformer_karaoke_fp16.onnx (fp16), mdx_voc_ft.onnx и mdx_kara_2.onnx (fp32).Лицензирование: модели распространяются на условиях оригинальных авторов (команда Ultimate Vocal Remover, viperx и aufr33).










Комментарии