Speakilo / OneVoice On-Device Model Set
локальный голосовой переводчик для Snapdragon 8 Gen 2
2 мин чтенияобновлено
Готовый набор моделей для автономного (on-device) распознавания, перевода и синтеза речи прямо на смартфоне без обращения к облаку. Пайплайн построен от автора Vantuk под мобильные процессоры Qualcomm Snapdragon 8 Gen 2 (SM8550) и распределяет нагрузку между нейронным сопроцессором NPU (Hexagon HTP v73 через QNN SDK) и обычным CPU (через Sherpa-ONNX и llama.cpp). В отличие от одиночных моделей, сборка объединяет весь цикл обработки голоса для английского, корейского и вьетнамского языков в одном архиве объёмом 1.877 ГБ. Решение пригодится Android-разработчикам, создающим офлайн-переводчики и голосовые ассистенты.
Ключевые особенности
- Полный 5-этапный конвейер: определение языка речи (Spoken LID на базе
ecapa-lid), распознавание речи (ASR), проверка готовности источника, машинный перевод и синтез речи (TTS). - Гибридное исполнение на железе: тяжёлые этапы вроде определения языка и декодирования голоса вынесены на NPU (QNN HTP v73), а квантованные модели ASR и LLM-переводчик работают на CPU.
- Мультиязычная связка (EN, KO, VI): включает
SenseVoiceINT8 для английского и корейского, стриминговый корейский ASR,gipformerINT8 для вьетнамского и модель переводаHy-MT2-1.8B-Q4_0-enviko32k. - Локальный синтез голоса: использует модели семейства Piper (
piper-en-lessac,piper-ko-kss,piper-vi-vais1000) с поддержкой eSpeak-NG и резервным откатом (fallback) на CPU.
Что можно сделать
- Встроить офлайн-переводчик диалогов в реальном времени в Android-приложение для устройств на базе Snapdragon 8 Gen 2.
- Использовать отдельные сконвертированные модули из набора (например, QNN-версии Piper TTS или
ecapa-lid) для ускорения собственных голосовых ботов на мобильном NPU. - Протестировать производительность связки
llama.cpp+ KleidiAI (с инструкциями+dotprod+i8mm) и Sherpa-ONNX на мобильных ARM-процессорах.
Пример
Типовой сценарий работы пайплайна из карточки: входящий аудиопоток сначала проходит через ecapa-lid на NPU для определения языка, затем распознаётся в текст через SenseVoice или gipformer на CPU, переводится моделью Hy-MT2-1.8B в формате GGUF и озвучивается на целевом языке гибридным синтезатором Piper.
Подробнее
Целевое железо: Qualcomm Hexagon HTP v73 (soc_model = 43, htp_arch = 73, QNN SDK 2.51.0).Состав репозитория: 388 файлов общим объёмом 1.877 ГБ.
Стек инференса: QNN HTP v73, Sherpa-ONNX,
llama.cpp с оптимизациями KleidiAI (+dotprod+i8mm) и eSpeak-NG для фонематизации.









Комментарии