mixit-fuss-tflocoformer-m8
разделение аудиосмесей на 8 отдельных дорожек
2 min readupdated
Офлайн-модель для разделения сложного моноаудио (8 кГц) на отдельные звуковые источники без заранее размеченных эталонов при обучении. Она основана на компактной архитектуре TF-Locoformer с тремя двухпутевыми блоками и дообучена методом разреженного MixIT (Mixture Invariant Training — обучение на смесях без знания исходных дорожек) поверх базового чекпоинта mixit-fuss-tflocoformer-m8-plain-seed2 от автора sammyliu. На выходе модель раскладывает входящую запись на 8 несортированных слотов, сохраняя общую сумму сигнала, что пригодится исследователям звука и разработчикам систем очистки аудио.
Ключевые особенности
- Обучение без изолированных дорожек: дообучение (8 000 шагов) велось только на реверберирующих смесях из датасета FUSS с добавлением штрафа за разреженность (коэффициент 16).
- Компактная архитектура: используется облегчённый TF-Locoformer (64 канала, 4 головы внимания, FFN 128) с некаузальным вниманием по времени и частоте.
- Консистентность смеси: обёртка автоматически нормирует входной сигнал по RMS и равномерно распределяет остаток между всеми 8 выходными слотами.
- Набор чекпоинтов в релизе: помимо основного файла
model.safetensors(шаг 7 000), доступны 5 лучших промежуточных весов и финальный срез на 8 000 шагов.
Что можно сделать
- Разбор сложных акустических сцен: выделять отдельные звуковые события из плотных монозаписей, где одновременно звучит до 4–8 источников с реверберацией.
- Исследование и сравнение чекпоинтов: запускать инференс на разных шагах обучения (от 2 000 до 8 000) для анализа компромисса между реконструкцией смеси и разделением источников.
- Интеграция в пайплайны предобработки звука: использовать модель на CPU или GPU для первичной декомпозиции 8-килогерцовых аудиофрагментов перед дальнейшей фильтрацией.
Пример
import soundfile as sf
import torch
from inference import load_separator, separate
model = load_separator(".", device="cpu")
audio, sample_rate = sf.read("mixture_8khz.wav", dtype="float32")
outputs = separate(model, torch.from_numpy(audio), sample_rate=sample_rate)
for index, source in enumerate(outputs[0]):
sf.write(f"source_{index:02d}.wav", source.numpy(), 8000, subtype="FLOAT")Подробнее
Качество на отложенной выборке (4 сек, 653 сцены): source SI-SDRi 8.7694 dB (95% интервал [8.2281, 9.3632] dB), MixIT 12.3946 dB.Для
final.safetensors на 8-секундных фрагментах: source SI-SDRi 10.0744 dB, MixIT 12.7712 dB (независимый тест не проводился).Формат входа: моно 8 000 Гц (оптимально 4–8 секунд), модель работает в офлайн-режиме (некаузальная).
Обучение: 20 000 сцен FUSS, PyTorch 2.7.1, 1× NVIDIA A100 80GB; код под лицензией Apache-2.0, на веса отдельная лицензия не выдана.










Comments