mixit-audioset-fuss-sparsity8-ft2k

Это четырёхвыходной разделитель MixIT, дообученный за 2 000 optimizer updates от teacher sammyliu/mixit-audioset-fuss-step970k. Сохраняет архитектуру real-mask TDCN++ на 9 223 176 параметров и добавляет L1/L2 source-sparsity penalty с весом 8. Обучение шло только на неразмеченных смесях AudioSet.

➕ Ключевые особенности

• ➕ Четыре анонимных неупорядоченных выхода; вход 16 kHz.
• ➖ L1/L2 source-sparsity penalty с весом 8; hard MixIT с negative thresholded SNR и потолком 30 dB.
• 🔤 32 блока TDCN++, 256 analysis filters, width 256/512, encoder window/hop 40/20.
• 🔜 Дообучение: 2 000 optimizer updates; выбор по validation, сохраняется финальный checkpoint.
• ▶ FUSS test: 1S SI-SDR 12.127 против 10.466 у базы; multi-source SI-SDRi 11.016 против 10.856.

▶ Пример

from mixit_hf import MixITModel
separator = MixITModel.from_pretrained(
    repo_id="sammyliu/mixit-audioset-fuss-sparsity8-ft2k",
    checkpoint_filename="model.pt",
    device="cuda",
)
result = separator.separate_file("mixture_16khz.wav")
separator.write_stems(result, "separated")

Подробнее

FUSS test: 1S SI-SDR 12.127, multi-source SI-SDRi 11.016, correct source-count fraction 0.380.
Held-out gain над базой +0.161 dB, 95% интервал [-0.061, +0.383] — превосходство по multi-source не установлено.
Инференс: Python 3.10+, CUDA или CPU, файлы длиннее 10 с требуют чанкинга; веса и артефакты — proprietary по лицензии Samuel Liu.
Обучение: два A100, global batch 256, BF16/TF32; 2 000 updates.