KamVox voice separator

Набор моделей разделения вокала и фона из Ultimate Vocal Remover (MDX-Net), упакованный для KamVox Studio и запуска в браузере через onnxruntime-web (WebAssembly или WebGPU). Веса не переобучались — используются оригинальные.

🔥 Ключевые особенности

• ✅ Две модели: kim-vocal-2 предсказывает вокал, inst-hq-3 — фон.
• ⬇ Есть обычные ONNX-файлы по 66.8 MB и fp16-копии по 33.4 MB для меньшей загрузки.
• 🦾 Свободная ось времени: вход и выход [batch, 4, 3072, frames], frames должно быть кратно 32; при 256 фреймах выход совпадает с оригиналом.
• ✨ Работает в браузере через onnxruntime-web, без переобучения и без отдельного сервера.
• 💥 Второй стем получается как микс минус предсказание модели.

💌 Пример

Сценарий: в KamVox Studio загружаете стерео-трек, выбираете kim-vocal-2 для вокала или inst-hq-3 для фона. KamVox делает STFT, чанкинг и overlap-add на Rust, а модель получает float32-тензор [batch, 4, 3072, frames].

Подробнее

Файлы: 66.8 MB, fp16 — 33.4 MB; вход/выход float32 [batch, 4, 3072, frames], frames кратно 32.
Параметры: n_fft 7680 / 6144, hop 1024, dim_f 3072; обучение на 256-фреймовых чанках 44.1 кГц stereo.
Ограничение: веса не переобучались, менялись только заявленные формы; при 256 фреймах выход совпадает с оригиналом.
Лицензия Ultimate Vocal Remover — MIT; авторы: Kimberley Jensen, Anjok07 и aufr33.