Mini-BS-RoFormer-V2.5-46.2M

Компактная модель для music source separation: раскладывает аудио на bass, drums, other и vocals. Всего 46.2M параметров, веса bf16, частота 44.1 kHz, обработка чанками по 8 секунд. Работает через transformers.

🎯 Ключевые особенности

• 🎯 Разделяет трек на четыре стема: bass, drums, other, vocals.
• ⚙ 46.2M параметров и bf16; вход 44.1 kHz, чанки по 8 с.
• 🧩 Можно объединить bass + drums + other в инструментал, оставив vocals отдельно.
• 💡 В V2.5: частотно-взвешенная L1-потеря, общий mask-декодер для стемов через attention pooling, очистка данных MUSDB18HQ и более широкие/мелкие гиперпараметры.
• ⭐ На MUSDB18HQ val overall SDR 10.09 — чуть выше V2 (10.03).

🐍 Пример

from transformers import AutoModel
import torch, librosa
model = AutoModel.from_pretrained("HiDolen/Mini-BS-RoFormer-V2.5-46.2M", trust_remote_code=True).to("cuda")
waveform, sr = librosa.load("input.wav", sr=44100, mono=False)
waveform = torch.tensor(waveform).float().to("cuda")
result = model.separate(waveform, batch_size=2, verbose=True)
# result: [bass, drums, other, vocals]

Подробнее

SDR на MUSDB18HQ val: overall 10.09; vocal 10.97, drums 10.48, bass 9.71, other 9.19.
Для сравнения: Mini-BS-RoFormer-V2-46.8M — overall 10.03.
Обучение: MUSDB18HQ train+test, 246k шагов, batch_size=8, lr 3e-4; Muon для transformer-слоёв и AdamW для остальных.
Вход: 44.1 kHz, чанки по 8 с; зависимости — transformers 5.18.0, PyTorch 2.14.1, soundfile, einops, librosa.