SCNet (base) Core ML
разделение музыки на дорожки на устройствах Apple
2 мин чтенияобновлено
Модель разделяет стерео-аудиозапись на четыре отдельных стема (изолированные дорожки): ударные, бас, вокал и остальные инструменты. Это конвертация оригинальной нейросети SCNet (Sparse Compression Network) в формат Core ML от автора simopa71, созданная для локальной работы без интернета в iOS-приложении Preso!. В отличие от базового PyTorch-чекпоинта, здесь внутренние преобразования Фурье по оси времени заменены на константные матрицы DFT для запуска на Apple-устройствах. Релиз пригодится iOS- и macOS-разработчикам музыкальных приложений, диджей-инструментов и аудиоредакторов.
Ключевые особенности
- Два варианта точности:
SCNet_fp16.mlpackageвесом около 23 МБ иSCNet_fp32.mlpackageвесом около 45 МБ. - Высокая точность переноса весов относительно оригинала на PyTorch: 109 дБ для fp32 и 59 дБ для fp16.
- Быстрая обработка: на Mac с чипом Apple M1 (GPU, fp16) 30 секунд аудио обрабатываются примерно за 2 секунды.
- Лицензия MIT, позволяющая свободно распространять и использовать сконвертированные веса с указанием авторства.
Что можно сделать
- Встроить локальное извлечение вокала или минусовок в iOS- и macOS-приложения без отправки файлов на сервер.
- Использовать модель в инструментах для ремиксов и практических занятий музыкантам для выделения партий баса или ударных.
Пример
Модель принимает на вход готовые спектрограммы (STFT с окном 4096 и шагом 1024 для стерео 44.1 кГц) тензором формы (1, 4, 2049, 476), что соответствует фиксированному 11-секундному фрагменту. На выходе возвращается тензор (1, 16, 2049, 476) с четырьмя дорожками в порядке: ударные, бас, прочее, вокал — обратное преобразование (iSTFT) и склейку чанков с перекрытием 25% выполняет вызывающий код.
Подробнее
Качество на 12 тестовых фрагментах MUSDB18 (global SDR): вокал — 10.0 дБ, ударные — 9.2 дБ, бас — 7.6 дБ, остальное — 5.3 дБ.Ограничения: в iOS Simulator версия fp16 возвращает нули (работает только fp32), на macOS работают обе.
Скорость работы на iPhone и Apple Neural Engine не замерялась.
Оригинальная модель обучена на датасете MUSDB18-HQ (предназначен для исследований и обучения).










Комментарии