BS-RoFormer 4-stem Core ML
четыре стема музыки локально на Mac
2 мин чтенияобновлено
Модель разделяет музыкальный трек на четыре дорожки: drums, bass, other и vocals. Это Core ML-конвертация BS-RoFormer с весами ZFTurbo: на вход идёт стерео STFT 8-секундными окнами, на выходе — маскированные спектры для каждого стема. STFT и iSTFT остаются вне модели, поэтому пайплайн сам готовит спектр и собирает аудио с overlap-add. Пригодится, если нужно локально на macOS делать караоке, ремиксы или разбирать библиотеку на стемы без облака.
Ключевые особенности
- Четыре стема: drums, bass, other, vocals.
- Вход — float32
[1, 2, 1025, 801], выход —[1, 4, 2, 1025, 801]. - Одно 8-секундное окно ~0,57 с на Apple M6; 3-минутный трек — меньше 40 с.
- MIT; веса из релиза ZFTurbo v1.0.12, конвертация сверена с независимым ONNX-экспортом.
- Core ML ML Program, fp16, macOS 14+.
Что можно сделать
- Сделать караоке-плеер для macOS: отделять vocals и подавать минус.
- Собрать локальный пайплайн для ремиксов: разложить трек и обрабатывать drums/bass отдельно.
- Пакетно разбирать архив музыки на стемы с перекрытием окон.
- Встроить в настольное приложение на Mac без отправки аудио в облако.
Пример
Пример сценария: берёте 8-секундные окна стерео при 44,1 кГц, считаете STFT (n_fft 2048, hop 441, Hann), подаёте spec_real и spec_imag в модель, получаете четыре пары спектров и собираете дорожки через iSTFT и overlap-add.
Подробнее
Скорость: ~0,57 с на 8-секундное окно при MLComputeUnitsCPUAndGPU на Apple M6; 3-минутный трек — меньше 40 с.Вход/выход: float32
[1, 2, 1025, 801] и [1, 4, 2, 1025, 801]; STFT/iSTFT снаружи.Лицензия MIT; веса ZFTurbo, обучение, вероятно, включало MUSDB18-HQ с исследовательскими условиями — проверяйте под свой сценарий.
Компиляция под Neural Engine заняла больше получаса и не использовалась.










Комментарии