Streaming Turn
потоковый детектор конца реплики для голосовых агентов
2 мин чтенияобновлено
Streaming Turn от разработчика jptaylor — лёгкая аудиомодель на 4.0M параметров для фреймворка голосовых агентов Pipecat. Каждые 40 мс она анализирует входящий звук без распознавания текста (транскрипции) и оценивает, закончил ли пользователь говорить, а также отличает фоновое поддакивание (backchannel) от попытки перехватить слово (floor-take). Архитектура построена на log-mel признаках, каузальном свёрточном энкодере и GRU, а инференс на одном ядре Apple M-series через ONNX Runtime занимает всего 0.37 мс на чанк. Модель пригодится разработчикам диалоговых ботов, которым нужно сократить паузы при ответе и не перебивать собеседника на полуслове.
Ключевые особенности
- Работает исключительно по аудиопотоку (16 кГц моно, 25 кадров в секунду), не дожидаясь текстовой расшифровки речи.
- Отслеживает состояние бота (
bot_state): понимает, говорит ли сейчас агент, и классифицирует реакцию пользователя на продолжение/оценку или перебивание. - В актуальной версии
v0.4добавлен отдельный выходeot_lateдля фиксации завершения фразы, когда пользователь уже замолчал. - Компактный размер (4.0M параметров) и готовые веса
streaming-turn-fp32.onnxвместе с конфигом тензоровmodel.jsonи чекпоинтом PyTorch (.pt).
Что можно сделать
- Встроить в голосового агента на базе Pipecat в связке с
SileroVADAnalyzerчерез классStreamingTurnAnalyzerдля естественного ведения диалога. - Снизить число ложных срабатываний на короткие реплики вроде «угу» или «понятно», настроив реакцию бота по выходам
intent.
Пример
from pathlib import Path
from huggingface_hub import snapshot_download
from agent.turn_analyzers import StreamingTurnAnalyzer, StreamingTurnParams
repo = snapshot_download("jptaylor/streaming-turn", allow_patterns="streaming-turn-v0.4/*")
analyzer = StreamingTurnAnalyzer(
Path(repo) / "streaming-turn-v0.4", params=StreamingTurnParams(threshold=0.5, late_threshold=0.4)
)Подробнее
На тестовых диалогах Open Yap 1K версия v0.4 перебивает на паузе в 4.9% случаев, отвечает в пределах 500 мс в 56.4% и в пределах 1 с в 79.7% случаев.На клипах Smart Turn v3.2 (7820 примеров, замер через 200 мс после конца речи) точность составила 93.3% у v0.4 и 93.8% у v0.2 (против 93.5% у Smart Turn v3.2).
Обучалась с дистилляцией от замороженного энкодера Whisper base.en и мягкими метками Smart Turn v3.2.
Ограничения: только английский язык, экспериментальный статус (один прогон обучения на версию), телефонные кодеки не тестировались, в v0.4 модель выжидает, пока бот впервые заговорит в сессии.










Комментарии