sense-xs
компактная ONNX-модель для принятия решений ИИ-агентами локально
2 мин чтенияобновлено
Модель sense-xs от команды fab7hq предназначена для быстрой локальной классификации состояний и задач внутри инструмента управления агентами Weft без отправки данных в облако. В основе лежит замороженная база microsoft/deberta-v3-xsmall, квантованная в формат int8, поверх которой переключаются два компактных LoRA-адаптера (небольшие надстройки над базовой моделью). На вход подаются пары из текста и вопроса, а на выходе модель выдаёт один логит (разницу между «да» и «нет»). Разработка пригодится создателям локальных ИИ-агентов и обёрток для CLI-инструментов, которым нужна быстрая оценка состояния терминала и маршрутизация запросов на CPU.
Ключевые особенности
- Два специализированных адаптера:
stateанализирует экран терминала, записи транскрипта и завершение реплики агента, аaskопределяет тип задачи, эффекты (чтение, запись, выполнение), маршрут и подходящие правила. - Высокая скорость на CPU: на процессоре Apple Silicon чтение экрана (7 строк) занимает около 76 мс, оценка задачи и маршрута (17 строк) — около 195 мс, а проверка пакета из 20 правил — около 300 мс.
- Компактный формат ONNX: квантованная база
sense-xs.int8.onnxи адаптеры с рангом 16 (около 1,5 млн параметров каждый) работают в ONNX Runtime 1.20 и новее с длиной последовательности до 256 токенов. - Гибкая настройка через JSON: вопросы, калибровка вероятностей и правила нормализации текста вынесены в файл
manifest.json, благодаря чему пользовательские правила обрабатываются так же, как встроенные.
Что можно сделать
- Определять статус ИИ-агента в терминале: использовать адаптер
state, чтобы по тексту экрана распознавать 7 состояний — от простоя и работы до ожидания разрешения, вопроса пользователю или ошибки. - Маршрутизировать входящие запросы: применять адаптер
askдля оценки последствий команды (чтение, запись, запуск кода, выход за пределы машины) и выбора маршрута (прямое выполнение, план, цель или ревью). - Подбирать релевантные инструкции для агента: оценивать пользовательские правила из пакетов практик и учитывать историю их применения с помощью весов из
manifest.json.
Пример
В репозитории прилагается файл golden_vectors.jsonl с нормализованными текстами, токенами, логитами и эталонными ответами для проверки корректности запуска в ONNX Runtime. При инициализации сессии необходимо загрузить адаптеры через LoraAdapter, указать активный адаптер через RunOptions.add_active_adapter и выставить параметр session.disable_quant_qdq = 1, чтобы каждая строка батча оценивалась независимо.
Подробнее
Точность адаптераstate: 0.966 на определении состояния экрана (2 204 примера), 0.991 на типе записи транскрипта и 0.953 (average precision) на проверке вопроса в конце хода.Качество адаптера
ask: micro F1 0.896 на определении задачи и 0.984 на эффектах (1 000 запросов), точность маршрутизации — 0.961.Обучение: база предварительно обучена на датасете
MoritzLaurer/dataset_train_nli и заморожена, каждый LoRA-адаптер обучался 3 эпохи на одном GPU.









Комментарии