Hear Service models
офлайн-голоса, распознавание и понимание запросов
2 мин чтенияобновлено
Репозиторий Hear Service models от samuelr3 — набор on-device моделей для voice-first приложения для незрячих и слабовидящих слушателей британских talking newspapers. Всё работает на телефоне: пять голосов Piper VITS, дообученный Parakeet TDT-CTC 110M и MiniLM с классификаторами. Общий пакет — 519 MB в 15 файлах.
Ключевые особенности
- 5 голосов Piper VITS: Jenny, Deborah, Richard, David и Alan; плюс встроенная Alice. 22 050 Hz, mono, ONNX в 32-bit, около 63.5 MB каждый.
- Parakeet TDT-CTC 110M дообучен на британской речи и названиях UK talking newspapers, городов и организаций; 8-bit, 16 kHz, 178 MB.
- all-MiniLM-L6-v2 с двумя logistic-regression головами: 14 действий и 27 типов разговора; 23 MB, 8-bit.
- Всё на устройстве: речь, текст и аудио не отправляются на сервер для понимания или озвучки.
- Голоса оставили в 32-bit: 8-bit был в 3 раза медленнее на CPU телефона из-за свёрток.
- LLM нет: SmolLM2-135M в 4-bit потерял файнтюн, а Qwen2.5-0.5B оказался слишком медленным на iPhone XR.
Пример
Слушатель произносит запрос. Parakeet распознаёт названия, MiniLM относит запрос к одному из 14 действий, а Piper озвучивает ответ выбранным голосом. Ответ классификатора используется только при уверенности 60% и выше.
Подробнее
WER на отложенной архивной речи — 7.3%; названия talking newspapers и мест — 87.3% из 394; «Herne Bay» в сложных записях — 22 из 22.Пакет: 519 MB, 15 файлов; голоса по 63.5 MB, Parakeet 178 MB, MiniLM 23 MB.
Понимание запросов: 219 из 236 отложенных фраз для intent-head; на iPhone XR около 5 ms на запрос.
LLM не используется: ответы берутся из approved lines и каталога, без генерации текста.










Комментарии