К содержимому
Другое

SCNet (base) Core ML

разделение музыки на дорожки на устройствах Apple

2 мин чтенияобновлено

Модель разделяет стерео-аудиозапись на четыре отдельных стема (изолированные дорожки): ударные, бас, вокал и остальные инструменты. Это конвертация оригинальной нейросети SCNet (Sparse Compression Network) в формат Core ML от автора simopa71, созданная для локальной работы без интернета в iOS-приложении Preso!. В отличие от базового PyTorch-чекпоинта, здесь внутренние преобразования Фурье по оси времени заменены на константные матрицы DFT для запуска на Apple-устройствах. Релиз пригодится iOS- и macOS-разработчикам музыкальных приложений, диджей-инструментов и аудиоредакторов.

Ключевые особенности

  • Два варианта точности: SCNet_fp16.mlpackage весом около 23 МБ и SCNet_fp32.mlpackage весом около 45 МБ.
  • Высокая точность переноса весов относительно оригинала на PyTorch: 109 дБ для fp32 и 59 дБ для fp16.
  • Быстрая обработка: на Mac с чипом Apple M1 (GPU, fp16) 30 секунд аудио обрабатываются примерно за 2 секунды.
  • Лицензия MIT, позволяющая свободно распространять и использовать сконвертированные веса с указанием авторства.

Что можно сделать

  • Встроить локальное извлечение вокала или минусовок в iOS- и macOS-приложения без отправки файлов на сервер.
  • Использовать модель в инструментах для ремиксов и практических занятий музыкантам для выделения партий баса или ударных.

Пример

Модель принимает на вход готовые спектрограммы (STFT с окном 4096 и шагом 1024 для стерео 44.1 кГц) тензором формы (1, 4, 2049, 476), что соответствует фиксированному 11-секундному фрагменту. На выходе возвращается тензор (1, 16, 2049, 476) с четырьмя дорожками в порядке: ударные, бас, прочее, вокал — обратное преобразование (iSTFT) и склейку чанков с перекрытием 25% выполняет вызывающий код.

ПодробнееКачество на 12 тестовых фрагментах MUSDB18 (global SDR): вокал — 10.0 дБ, ударные — 9.2 дБ, бас — 7.6 дБ, остальное — 5.3 дБ.
Ограничения: в iOS Simulator версия fp16 возвращает нули (работает только fp32), на macOS работают обе.
Скорость работы на iPhone и Apple Neural Engine не замерялась.
Оригинальная модель обучена на датасете MUSDB18-HQ (предназначен для исследований и обучения).
Обсудить Telegram 1 20

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # simopa71/preso-stems
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download simopa71/preso-stems --local-dir ~/models/preso-stems
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к preso-stems
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии preso-stems — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

simopa71/preso-stems
Автор
simopa71
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

201

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии