ZANA Cognitive Engine
сверхлёгкие модели для локального ассистента
2 min readupdated
Набор компактных моделей, которые входят в состав десктопного приложения ZANA Cognitive Engine для работы прямо на устройстве. В релиз включены классификатор намерений пользователя (449,5 тыс. параметров, вес 1,8 МБ) и рекуррентное когнитивное ядро на базе гибридной архитектуры SSM (модель пространства состояний) и attention (132,4 тыс. параметров, вес 0,5 МБ). Модели не предназначены для генерации длинных ответов или свободного общения — за это в приложении отвечает отдельная локальная LLM (например, через Ollama). Разработка пригодится создателям лёгких офлайн-ассистентов, которым нужна быстрая маршрутизация команд без нагрузки на железо.
Ключевые особенности
- Сверхмалый размер: весят 1,8 МБ и 0,5 МБ, запускаются локально на устройстве без серьёзных требований к ресурсам.
- Поддержка трёх языков: обучены на текстах на английском, арабском и центральнокурдском (сорани) языках.
- Точная маршрутизация команд: классификатор дополнен файлом калибровочных порогов
calib_b_frozen.jsonдля каждого типа намерений. - Гибридная архитектура ядра: побайтовая языковая модель сочетает механизмы SSM и attention при размерности
d_model64.
Что можно сделать
- Встроить в десктопный или локальный голосовой помощник для мгновенного распознавания базовых команд: создания задач, поиска по документам, вычислений или работы с файлами.
- Использовать в качестве быстрого фронтенд-маршрутизатора, который определяет тип запроса перед передачей сложной задачи в крупную локальную модель через Ollama.
- Изучить работу компактной побайтовой модели SSM + attention в исследовательских целях или при разработке собственных сверхлёгких NLP-компонентов.
Пример
from safetensors.torch import load_file
weights = load_file("intent_v3_C_s0.safetensors")Подробнее
Точность классификатора интентов на валидационной выборке проекта (best_dev3_acc): 0.804.Показатель bits per token языкового ядра после 3000 шагов: 2.23 (английский), 1.62 (арабский), 1.61 (сорани).
Обучающие данные: датасеты Common Voice (CC0) и MASSIVE (CC BY 4.0), а также 600 шаблонов и 797 примеров для интентов.
Ограничения: классификатор понимает только фиксированный набор действий ассистента; ядро на 132 тыс. параметров не подходит для генерации текста.
Архитектуры и код загрузки находятся в репозитории проекта в директории
src/zana/, лицензия — Apache 2.0.









Comments