DialogueSidon2
разделение и очистка диалогов двух спикеров
2 min readupdated
Модель принимает запись разговора двух людей в плохом качестве (телефонная линия, шум, реверберация, сжатие кодеками) и возвращает две отдельные чистые аудиодорожки с частотой 24 кГц — по одной на каждого говорящего. В основе лежит дообученная facebook/w2v-bert-2.0 (13 слоёв) и декодер SSL-VAE (вариационный автоэнкодер на латентных представлениях речи) от sarulab-speech. В отличие от первой версии DialogueSidon, которая генерировала представления через диффузию в 30 шагов, новинка извлекает обоих спикеров за один прямой проход (forward pass) и работает полностью детерминированно. Подойдёт исследователям речи и разработчикам пайплайнов транскрибации телефонных звонков или интервью.
Ключевые особенности
- Один проход без диффузии: модель считывает латентные представления сразу из микса, поэтому работает быстрее предшественника и на одинаковом входе всегда выдаёт идентичный результат.
- Восстановление до 24 кГц: не просто разделяет голоса, но и убирает шумы, эхо и артефакты телефонных кодеков.
- Обработка длинных записей: фрагменты до 30 секунд обрабатываются целиком, а более длинные — окнами по 30 секунд с перекрытием 5 секунд и выравниванием дорожек по корреляции.
- Готовый инференс без лишних зависимостей: в репозитории есть экспортированные через
torch.exportфайлы и скриптds2_infer.py, которому нужны толькоtorchиtorchaudio.
Что можно сделать
- Разделить запись телефонного звонка или интервью на два отдельных моно-трека перед подачей в ASR (систему распознавания речи) для точной диаризации и транскрибации.
- Очистить зашумлённые архивные диалоги и привести их к единой частоте дискретизации 24 кГц для исследовательских датасетов.
- Встроить локальный инференс на CPU или CUDA в свой Python-пайплайн с помощью
ds2_infer.pyбез установки основного репозитория Sidon.
Пример
import sys, soundfile as sf, torch
from huggingface_hub import snapshot_download
model_dir = snapshot_download("sarulab-speech/DialogueSidon2",
allow_patterns=["separator.pt2", "vae_decoder.pt2", "metadata.json", "ds2_infer.py"])
sys.path.insert(0, model_dir)
import ds2_infer
models = ds2_infer.load(model_dir, "cuda")
audio, rate = sf.read("dialogue.wav", always_2d=True)
speakers = ds2_infer.separate(torch.from_numpy(audio.T).float(), rate, models)
sf.write("speakers.wav", speakers.T.numpy(), ds2_infer.SAMPLE_RATE)
Подробнее
Метрики: на реальных записях OpenDialog WER (Whisper large-v3) снизился с 14,07% до 9,95%, а качество речи NISQA выросло с 3,568 до 3,819; на Switchboard WER улучшился с 14,43% до 12,71%.Совместимость: экспортированные программы
.pt2 собраны под torch==2.8.0 и torchaudio==2.8.0, поддерживается запуск на CUDA и CPU.Ограничения: модель рассчитана строго на двух спикеров, порядок выходных дорожек произвольный; на длинных записях спикеры могут поменяться каналами, если один из них молчит всё 5-секундное перекрытие.
Лицензия: CC BY-NC 4.0 (только исследования и некоммерческое использование; запрещено клонирование голоса и идентификация личности).










Comments