MixIT FUSS TF-Locoformer m8 sparse16
разделение аудио на 8 слотов
2 мин чтенияобновлено
Модель берёт моно-запись 8 кГц и раскладывает её на восемь неупорядоченных дорожек-источников. Это не готовый продукт, а исследовательский чекпоинт: компактная TF-Locoformer на 8 выходных слотов, дообученная на реверберантных смесях FUSS без изолированных источников в функции потерь. База — sammyliu/mixit-fuss-tflocoformer-m8-plain-seed1; отличие в sparse-дообучении на 20 000 шагов и выборе пяти лучших чекпоинтов по development source SI-SDRi. Пригодится для экспериментов с разделением звука и проверки рецепта MixIT.
Ключевые особенности
- 8 выходных слотов: порядок не задан, семантических классов нет.
- Sparse fine-tune: коэффициент 16, 20 000 обновлений после родительской модели.
- В релизе пять лучших чекпоинтов, выбранных по source SI-SDRi на development-наборе.
- Вход — моно 8 кГц; для оценки использовали центральные 4 секунды сцены.
- Код инференса и рецепт в комплекте; обучение целиком не включено.
Что можно сделать
- Разложить короткий моно-фрагмент 8 кГц на дорожки и посмотреть, как модель справляется с наложением источников.
- Сравнить пять чекпоинтов через параметр
checkpoint=...и выбрать подходящий по метрике. - Встроить инференс в исследовательский пайплайн на PyTorch для аудио-экспериментов.
- Взять рецепт sparse MixIT как основу для собственного дообучения на похожих данных.
Пример
import soundfile as sf
import torch
from inference import load_separator, separate
model = load_separator(".", device="cpu")
audio, sample_rate = sf.read("mixture_8khz.wav", dtype="float32")
outputs = separate(model, torch.from_numpy(audio), sample_rate=sample_rate)
sf.write("source_00.wav", outputs[0][0].numpy(), 8000, subtype="FLOAT")
Подробнее
Development source SI-SDRi: 9.1209 дБ (95% интервал 8.5558–9.7180 дБ). Holdout MixIT: 12.5916 дБ; на финальном шаге 20k SI-SDRi — 8.6834 дБ.Для обучения указана одна NVIDIA A100 80GB; инференс возможен на CPU. Вход — моно 8 кГц, около 4 секунд.
Независимого теста нет: метки источников использовались для выбора чекпоинтов. Возможны переразделение, фрагментация и артефакты; 8 кГц нельзя напрямую сравнивать с 16 кГц бенчмарками.
Веса доступны, но отдельной лицензии на веса не предоставлено.










Комментарии