Rider Voice Decisions (m1v3)
анализ голосовых заметок курьеров без транскрибации
2 min readupdated
Модель принимает короткое голосовое сообщение курьера и за один проход (без предварительного перевода речи в текст) определяет четыре параметра: суть ситуации, рекомендуемое действие, язык и уровень тревоги (экстренный SOS или проверка безопасности «Вы в безопасности?»). В репозитории лежит обученная голова-классификатор (head.safetensors и head.pt) с файлами калибровки, которая работает поверх замороженной аудиомодели Nirnaya Flash 1.0 (файнтюн google/gemma-4-E4B-it). Решение создано автором sahildl как исследовательский прототип для диспетчерских пультов служб доставки и обучено на синтетической речи с добавлением уличного шума (трафик, гудки, дождь). По сравнению с базовой головой в zero-shot режиме точность выбора действия выросла на 19,1 процентного пункта. Подойдёт разработчикам голосовых интерфейсов, диспетчерских систем и исследователям мультимодальных аудиомоделей.
Ключевые особенности
- Работает напрямую со звуком (English, Hindi и Hinglish) даже на фоне уличного шума, минуя этап ASR (распознавания речи в текст).
- За один прямой проход возвращает калиброванные вероятности сразу по четырём вопросам: ситуация (7 классов), следующее действие (4 класса), язык и флаг безопасности.
- Двухуровневая система алертов: при высокой вероятности срабатывает SOS, а при пограничной — мягкая проверка безопасности с высоким recall (полнотой обнаружения).
- Компактный вес самой головы-адаптера — 166,2 МБ, при этом основная аудиомодель остаётся замороженной.
Что можно сделать
- Подключить к готовой диспетчерской консоли на Gradio из репозитория проекта
helmet-mindдля интерактивного тестирования голосовых сообщений. - Протестировать качество классификации на 9 демонстрационных WAV-записях на Hindi и Hinglish из папки
examples/в составе репозитория. - Использовать калиброванные пороги из
thresholds.jsonкак шаблон для построения систем диспетчеризации с подтверждением действий оператором.
Пример
from src.engine import RiderVoiceEngine
engine = RiderVoiceEngine(
"Darkrider/nirnaya-flash-1.0",
"run/m1v3",
precision="fp16",
)
out = engine.decide("clip.wav")
print(out["answers"]["situation"]["choice"], out["card"]["kind"])Подробнее
Тестовый набор (37 синтетических сценариев / 740 клипов): точность определения ситуации — 82,3%, следующего действия — 72,6%, языка — 85,7%, полнота (recall) по безопасности — 100% (15 из 15 сценариев) при 0,7% ложных SOS.Скорость работы (fp16 на GPU T4, batch 1): медианная задержка p50 — 604 мс, p95 — 614 мс.
Ограничения: модель обучена исключительно на синтетических голосах, выдаёт 33,6% проверочных запросов на обычных записях и не предназначена для реальных систем безопасности.










Comments