Gaborformer

Gaborformer — модель разделения музыки на стемы от Sevag Hanssian (sevagh). Одна модель разделяет трек на vocals, drums, bass и other; в основе — NSGT и сеть в стиле BS-RoFormer. 266.6M параметров, FP16-веса занимают 533 МБ.

🔍 Ключевые особенности

• 🎙 Разделяет трек на vocals, drums, bass и other одной моделью.
• ⚙ Сочетает инвертируемое многомасштабное NSGT-преобразование с BS-RoFormer-подобной сетью.
• ⚡ 266.6M параметров; FP16-веса — 533 МБ.
• 🗂 В репозитории есть код инференса, обучения и оценки по трекам.
• 🛑 Веса разрешены только для некоммерческого использования.

💻 Пример

git clone https://github.com/sevagh/gaborformer.git
cd gaborformer
python -m pip install -e .
gaborformer song.wav --out separated

Подробнее

Средний cSDR 11.46 dB на 50-трековом тесте MUSDB18-HQ: +1.05 dB к DiCoSe и +1.44 dB к BS-RoFormer L=9, но на 0.53 dB ниже победителя SDX'23.
Нужны Python 3.10+ и PyTorch 2.4+; для GPU — CUDA-сборка PyTorch.
Веса обучены только на MUSDB18-HQ и разрешены лишь для некоммерческого использования.