Kuroko
компактная модель для определения перебиваний и конца реплики в диалоге
2 min readupdated
Легковесная система turn-taking (определения очередности реплик в разговоре) от PatientDesk AI, созданная для бенчмарка TurnBench. Модель представляет собой каузальный трансформер (предсказывает события только по прошлому контексту, без заглядывания в будущее) на 14.9M параметров, который анализирует двухканальное аудио на английском языке и 25 раз в секунду оценивает состояние обоих собеседников. Она помогает отличить полноценное перебивание или завершение фразы от короткого междометия вроде «угу» (backchannel). Разработка пригодится создателям голосовых ассистентов и систем анализа диалогов, которым важна быстрая и точная реакция на паузы.
Ключевые особенности
- Компактный размер 14.9M параметров позволяет обрабатывать 12.6-минутную запись за 11 секунд на четырех потоках CPU.
- Выдает 11 вероятностных оценок 25 раз в секунду, включая наличие голоса, захват инициативы (
claim), удержание слова (hold) и прогноз активности на 2 секунды вперед. - Работает в связке с детектором Silero VAD 6.2.3 и правилами таймингов, снижая медианную задержку обнаружения перебиваний до 545 мс.
- Веса
model.safetensorsи скрипт инференсаkuroko.pyраспространяются под свободной лицензией Apache-2.0.
Что можно сделать
- Анализировать записи двухканальных звонков и интервью для точной разметки моментов перебивания и смены спикеров.
- Взять предсказания захвата инициативы (
claim) за основу для модулей управления очередностью речи в голосовых ботах. - Использовать готовые файлы предсказаний и конфигурацию
policy.jsonдля воспроизведения и сравнения результатов на бенчмарке TurnBench.
Пример
import sys, soundfile as sf
from huggingface_hub import snapshot_download
path = snapshot_download("cloud0day3/kuroko")
sys.path.insert(0, path)
import kuroko
model = kuroko.load(path)
audio, rate = sf.read("conversation.wav", dtype="int16")
answers = kuroko.answers(model, kuroko.features(audio, rate))
Подробнее
Метрики на TurnBench (dev-сплит, 38 диалогов): End of turn — Recall 0.987, False-alarm 0.079, медианная задержка 630 мс; Interruption — Recall 1.000 (0.988 на held-out), False-alarm 0.073, медианная задержка 545 мс.Обучение: 1 025 часов двухканальных англоязычных диалогов (786 ч из Open Yap 1K и ~240 ч собственных записей PatientDesk), 12 000 шагов.
Ограничения: только английский язык, студийное аудио с разделением спикеров по двум каналам (48 кГц -> 16 кГц); не тестировалось на телефонных записях с эхом и в режиме реального стриминга.










Comments