SCNet ONNX (int8)

ONNX-версия SCNet — сети для разделения музыки на drums, bass, other и vocals. Архитектура: band-split convolutions и dual-path LSTM по комплексной спектрограмме, 10,1 млн параметров; автор обучил модель на MUSDB18-HQ. ONNX-экспорт и int8-компактизация — audiojs.

⚡ Ключевые особенности

• 🎵 Разделяет микс на четыре стема: drums, bass, other, vocals.
• ⚙ 10,1 млн параметров; band-split convolutions и dual-path LSTM на комплексной спектрограмме.
• 💻 int8-ONNX занимает 12,9 МБ против 42,8 МБ у float32 и 23,2 МБ у float16.
• 📊 Медианный SDR на 50 тестовых превью MUSDB18: vocals 9,88, drums 9,44, bass 8,35, other 6,14 dB.
• 🔍 77 из 82 весовых слоёв в int8, пять финальных слоёв декодера — в float16; вычисления идут во float32.
• ⚠ Обучение на MUSDB18-HQ: лицензия датасета — educational use, статус весов не урегулирован.

💻 Пример

import separate from '@audio/neural-separate'
let { stems } = await separate([left, right], { sampleRate: 44100, model: 'scnet' })

Подробнее

SDR указан по BSSEval v4 (museval), медиана по песням.
Один прогон — 11-секундный сегмент: 485 100 сэмплов при 44,1 кГц.
int8-файл: 12,9 МБ; float32-экспорт: 42,8 МБ; float16: 23,2 МБ.
Обучение на MUSDB18-HQ; лицензия датасета — educational use, вопрос распространения на веса не урегулирован.