MixIT FUSS TF-Locoformer

Офлайн-модель для разделения моно-аудио 8 кГц на 16 неупорядоченных выходных слотов. Compact TF-Locoformer обучен MixIT на реверберантных смесях FUSS без изолированных источников; это не Medium-конфигурация из оригинальной статьи. Автор — sammyliu; в репозитории завершённый фит на 60 000 обновлений, пять лучших чекпоинтов, финальные веса и инициализация.

⚙ Ключевые особенности

• 🎙 Моно 8 кГц, 16 выходных слотов; порядок слотов не соответствует семантическим классам.
• ⚙ Compact TF-Locoformer: 3 dual-path блока, 64 канала, 4 головы, FFN 128.
• 🧨 Обучение MixIT на наблюдаемых смесях FUSS reverberant, без чистых source-target пар.
• 💻 Есть inference-код; model.safetensors выбран по validation MixIT, также доступны final.safetensors и пять лучших чекпоинтов.
• ⚠ Возможны over-separation, фрагментация источников и артефакты; длинные входы и другие домены не проверялись.

▶ Пример

import soundfile as sf
import torch
from inference import load_separator, separate

model = load_separator(".", device="cpu")
audio, sr = sf.read("mixture_8khz.wav", dtype="float32")
outputs = separate(model, torch.from_numpy(audio), sample_rate=sr)
sf.write("source_00.wav", outputs[0][0].numpy(), 8000, subtype="FLOAT")

Перед вызовом separate аудио нужно привести к 8 кГц; для оценки использовался четырёхсекундный контекст.

Подробнее

Валидация: MixIT 12.9158 dB, source SI-SDRi 7.0179 dB.
Тест: source SI-SDRi 7.3355 dB, 95% интервал [6.3735; 8.3185] dB.
Обучение: один NVIDIA A100 80GB на фит; инференс возможен на CPU или CUDA.
Веса публичны, но дополнительная лицензия на них сейчас не предоставлена.