WavLM speaker diarization (AMI)
точное разделение спикеров на встречах
2 мин чтенияобновлено
Модель решает задачу диаризации (определяет, кто и в какой момент говорит на аудиозаписи) и возвращает готовые временные отрезки реплик для каждого участника. Она построена на базе microsoft/wavlm-base-plus (0.1B параметров) с добавлением двунаправленной рекуррентной сети BiLSTM и дообучена на датасете записей совещаний AMI. В отличие от стандартного пайплайна pyannote 3.1, эта версия заметно точнее распознаёт перебивания и реплики на записях с гарнитурных микрофонов, автоматически определяя число участников. Инструмент пригодится разработчикам систем транскрибации, протоколирования онлайн-звонков и анализа деловых встреч.
Ключевые особенности
- Удобный метод diarize(): работает поверх пайплайна
pyannote.audio, принимает аудио любой длины и частоты дискретизации, а результат сохраняет в стандартный формат RTTM. - Распознавание наложений речи: классифицирует каждые 20 мс аудио по 7 классам, умея выделять до 3 спикеров в 10-секундном окне и до 2 говорящих одновременно.
- Гибкий режим работы: можно использовать как полноценный пайплайн с кластеризацией голосов через WeSpeaker или как лёгкую покадровую модель сегментации без
pyannote.audio. - Автоматический подсчёт участников: число спикеров определяется само, но при необходимости его можно задать жёстко или ограничить диапазоном
min_speakers/max_speakers.
Что можно сделать
- Встроить в пайплайн расшифровки рабочих созвонов и совещаний вместе с ASR-моделью (например, Whisper), чтобы автоматически подписывать реплики участников.
- Размечать длинные архивы записей конференций и интервью в формат RTTM для последующего поиска по спикерам и аналитики.
- Использовать в локальных сервисах протоколирования встреч на базе
transformersиpyannote.audioбез ручной настройки сложных графов обработки аудио.
Пример
import torch
from transformers import AutoModel
model = AutoModel.from_pretrained("denkry/wavlm-diarization-ami", trust_remote_code=True)
model.to("cuda" if torch.cuda.is_available() else "cpu")
diarization = model.diarize("meeting.wav")
for turn, _, speaker in diarization.itertracks(yield_label=True):
print(f"{turn.start:7.1f}s - {turn.end:7.1f}s {speaker}")
Подробнее
Метрики: DER 14.14% (с учётом наложений речи, без collar) на тесте AMI против 17.71% у pyannote 3.1; на VoxConverse — 12.67% DER.Железо: рекомендуется GPU — обработка 1 часа аудио занимает около 6–7 минут на ноутбучной RTX 3050 (на CPU значительно медленнее).
Ограничения: модель обучалась только на английской речи с гарнитурных микрофонов (81 час из корпуса AMI), поэтому на шумных записях, звонках или трансляциях универсальные модели показывают себя лучше.










Комментарии