frontia_vad_v1_online

Это онлайн-детектор речи (VAD) от ESPnet на каузальной TCN. Одна из двух VAD-моделей, обученных вместе; эта версия решает по каждому 8-мс кадру только по аудио до него — для живых стримов и микрофона. Обучена как односпикерная диаризация (diar1, num_spk=1), поэтому все голоса в записи сливаются в одну метку «речь».

🔥 Ключевые особенности

• 🎙 Онлайн-режим: каузальная TCN, look-ahead равен 0.
• ⏰ Кадры по 8 мс при 16 kHz: 512-point STFT без центрирования, hop 128.
• ✅ Порог 0.7 и median-фильтр по 11 кадрам — настройка с минимальной ошибкой на AMI MH dev.
• 💻 Запуск через espnet2.bin.vad, CLI espnet vad --live или MCP-инструмент detect_speech в espnet-mcp.
• 📻 Подходит для живых потоков и микрофона; также загружается как diarization-модель с num_spk=1.

💻 Пример

from espnet2.bin.vad import VoiceActivityDetector

vad = VoiceActivityDetector.for_mode('online', 'espnet/frontia_vad_v1_online')
for seg in vad.detect_file('recording.wav'):
    print(seg.start, seg.end)

Подробнее

DetER: 4.34% на notsofar_eval, 4.93% на voxconverse_dev, 10.01% на ami_eval.
Латентность: вероятность кадра готова через 32 мс, решение с median 11 — ещё через 40 мс.
Порог 0.7 и median-фильтр на 11 кадрах; look-ahead 0.
Обучение: AMI, CHiME-6, NOTSOFAR-1, ICSI; рецепт egs2/frontia_vad_v1/diar1.
VRAM не указан; слабое место — ava_speech_eval: DetER 50.01%.