К содержимому
Другое

Speakilo / OneVoice On-Device Model Set

локальный голосовой переводчик для Snapdragon 8 Gen 2

2 мин чтенияобновлено

Готовый набор моделей для автономного (on-device) распознавания, перевода и синтеза речи прямо на смартфоне без обращения к облаку. Пайплайн построен от автора Vantuk под мобильные процессоры Qualcomm Snapdragon 8 Gen 2 (SM8550) и распределяет нагрузку между нейронным сопроцессором NPU (Hexagon HTP v73 через QNN SDK) и обычным CPU (через Sherpa-ONNX и llama.cpp). В отличие от одиночных моделей, сборка объединяет весь цикл обработки голоса для английского, корейского и вьетнамского языков в одном архиве объёмом 1.877 ГБ. Решение пригодится Android-разработчикам, создающим офлайн-переводчики и голосовые ассистенты.

Ключевые особенности

  • Полный 5-этапный конвейер: определение языка речи (Spoken LID на базе ecapa-lid), распознавание речи (ASR), проверка готовности источника, машинный перевод и синтез речи (TTS).
  • Гибридное исполнение на железе: тяжёлые этапы вроде определения языка и декодирования голоса вынесены на NPU (QNN HTP v73), а квантованные модели ASR и LLM-переводчик работают на CPU.
  • Мультиязычная связка (EN, KO, VI): включает SenseVoice INT8 для английского и корейского, стриминговый корейский ASR, gipformer INT8 для вьетнамского и модель перевода Hy-MT2-1.8B-Q4_0-enviko32k.
  • Локальный синтез голоса: использует модели семейства Piper (piper-en-lessac, piper-ko-kss, piper-vi-vais1000) с поддержкой eSpeak-NG и резервным откатом (fallback) на CPU.

Что можно сделать

  • Встроить офлайн-переводчик диалогов в реальном времени в Android-приложение для устройств на базе Snapdragon 8 Gen 2.
  • Использовать отдельные сконвертированные модули из набора (например, QNN-версии Piper TTS или ecapa-lid) для ускорения собственных голосовых ботов на мобильном NPU.
  • Протестировать производительность связки llama.cpp + KleidiAI (с инструкциями +dotprod+i8mm) и Sherpa-ONNX на мобильных ARM-процессорах.

Пример

Типовой сценарий работы пайплайна из карточки: входящий аудиопоток сначала проходит через ecapa-lid на NPU для определения языка, затем распознаётся в текст через SenseVoice или gipformer на CPU, переводится моделью Hy-MT2-1.8B в формате GGUF и озвучивается на целевом языке гибридным синтезатором Piper.

ПодробнееЦелевое железо: Qualcomm Hexagon HTP v73 (soc_model = 43, htp_arch = 73, QNN SDK 2.51.0).
Состав репозитория: 388 файлов общим объёмом 1.877 ГБ.
Стек инференса: QNN HTP v73, Sherpa-ONNX, llama.cpp с оптимизациями KleidiAI (+dotprod+i8mm) и eSpeak-NG для фонематизации.
Обсудить Telegram 0 41

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # Vantuk/model_set_v73
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download Vantuk/model_set_v73 --local-dir ~/models/model_set_v73
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к model_set_v73
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии model_set_v73 — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

Vantuk/model_set_v73
Автор
Vantuk
Категория
Другое
Дата выхода
На сайте

На сайте

Hugging Face

410

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Робототехника

iclr27_release

iclr27_release