zipformer2-66m-streaming-en-qnn-sm8750
потоковое распознавание английской речи на NPU Snapdragon 8 Elite
2 мин чтенияобновлено
Эта сборка переносит известную модель потокового распознавания речи Zipformer2 (66M) от Zengwei Yao и команды k2-fsa на нейропроцессор (NPU Hexagon v79) мобильного чипа Qualcomm Snapdragon 8 Elite (SM8750). На выходе модель в реальном времени превращает аудиопоток в английский текст заглавными буквами без знаков препинания. Автор репозитория взял оригинальный чекпоинт из фреймворка icefall, экспортировал его в ONNX без int8-квантования и скомпилировал в бинарные контексты QNN для запуска через движок sherpa-onnx. Релиз пригодится мобильным разработчикам, которым нужен быстрый офлайн-ASR на флагманских Android-смартфонах без нагрузки на CPU и GPU.
Ключевые особенности
- Аппаратное ускорение на SM8750: скомпилировано специально под NPU Hexagon v79 (Qualcomm AI Runtime 2.40.0.251030) с 16-битными активациями и 32-битными смещениями.
- Потоковая работа: размер чанка составляет 64 фрейма (1,28 секунды аудио) с левым контекстом 256 фреймов для распознавания на лету.
- Полный комплект бинарников: в репозитории лежат готовые
encoder.bin(~154,6 МБ),decoder.bin(~1,16 МБ),joiner.bin(~582 КБ) и словарьtokens.txt. - Точность оригинала: экспортированные графы на тестовых записях LibriSpeech выдают тот же текст, что и int8-модель sherpa-onnx.
Что можно сделать
- Встроить офлайн-диктовку в Android-приложение: подключить модель через
sherpa-onnxна устройствах со Snapdragon 8 Elite (например, Galaxy S25) и перенести распознавание на NPU. - Собрать голосового ассистента или субтитры в реальном времени: обрабатывать потоковое аудио 16 кГц чанками по 1,28 секунды с минимальной задержкой.
Пример
export ADSP_LIBRARY_PATH=$PWD
./sherpa-onnx --provider=qnn --tokens=tokens.txt \
--transducer.qnn-backend-lib=libQnnHtp.so --transducer.qnn-system-lib=libQnnSystem.so \
--transducer.qnn-context-binary=encoder.bin,decoder.bin,joiner.bin \
test.wav
Подробнее
Базовая модель: Zengwei/icefall-asr-librispeech-streaming-zipformer-2023-05-17 (66M параметров, обучена на LibriSpeech).Требования к входу: моно-аудио 16 кГц, 80-мерные fbank-признаки; вывод — верхний регистр без пунктуации.
Ограничения: бинарники жёстко привязаны к чипу SM8750 и библиотекам QAIRT 2.40.0.251030 (библиотеки Qualcomm в репозиторий не включены).
Производительность: аналогичная сборка на той же архитектуре декодировала 30 с аудио за 2,2 с на Galaxy S25.
Лицензия: Apache-2.0.










Комментарии