Laya on Qualcomm NPU
бинарники для быстрого запуска модели решений на чипах Qualcomm
2 мин чтенияобновлено
Репозиторий содержит предварительно скомпилированные QNN context binaries (специальные бинарные файлы контекста для движка Qualcomm AI Runtime) для модели принятия решений Laya под нейропроцессор Hexagon NPU в чипе Qualcomm QCS8550 в точности fp16 (формат чисел с плавающей запятой половинной точности). Веса исходной модели конвертированы без изменения точности ответов — все решения полностью совпадают с процессорной версией. Такой подход позволяет запускать модель на встроенном железе в 15–39 раз быстрее по сравнению с выполнением на обычном процессоре устройства. Полезно разработчикам встраиваемых систем и краевых вычислений (edge AI) на платформе Qualcomm.
Ключевые особенности
- Огромное ускорение: Время работы модели сократилось до 15–39 раз в зависимости от длины контекста и чекаута.
- Полная точность: Совпадение результатов с версией на процессоре (CPU) составляет 48/48 тестов без потери качества решений.
- Готовые файлы: Представлены три варианта бинарников для английской, многоязычной версий и модели с типизированными решениями.
- Эффективность: Поддерживается стабильная работа в течение пяти минут без замедления скорости обработки запросов.
Что можно сделать
- Интеграция в железо: Развернуть модель принятия решений на устройствах с процессором Qualcomm QCS8550 (например, Thundercomm RB5 Gen2).
- Запуск через Python: Использовать готовые классы из сопутствующего репозитория для быстрой классификации текстов и маршрутизации задач.
- Пересборка под себя: Использовать открытые скрипты экспорта и компиляции для адаптации под другие требования или окружения.
Пример
Пример инференса модели на устройстве с помощью специального роутера из открытого репозитория:
from laya_npu import NPURouter # from the code repository
router = NPURouter() # one NPUAgent per models/.bin
print(router.predict("We were billed twice for March. Refund it today or we cancel.", {
"department": {"type": "choice", "instructions": "Which department should handle this?",
"criteria": {"billing": "invoices, payments, refunds",
"technical": "bugs, outages, errors", "other": "everything else"}},
"churn_risk": {"type": "noul", "instructions": "Does the customer threaten to leave?"}}))Подробнее
Бенчмарки: на длине 128 токенов английская версия работает за 49 мс (ускорение 27x против CPU), на 512 токенах — за 148 мс (ускорение 31x).Требования к железу: целевой чип Qualcomm QCS8550 (Hexagon HTP V73), требуется среда выполнения QAIRT 2.51 или новее.
Ограничения: максимальный размер батча равен 1, ограничение на число опций в вопросе до 32, файлы бинарников жестко привязаны к версии SDK и чипу.
Лицензия: Apache-2.0 (наследует оригинальную модель Laya).










Комментарии