Lexsi Triage Adapter
улучшаем вызов инструментов для Aya Expanse 8B
2 мин чтенияобновлено
Это LoRA-адаптер (небольшая надстройка над базовой моделью), созданный для повышения точности использования внешних инструментов (tool use) LLM-агентом в задачах триажа. Модель построена на базе CohereLabs/aya-expanse-8b (8 млрд параметров) автором Snedz в рамках хакатона Lexsi («agent heal thyself»). В отличие от базовой модели, которая на тестовом наборе не смогла ни разу точно вызвать нужный инструмент, адаптер поднимает точность до 22,12% и обеспечивает 100% валидность схемы и значений аргументов. Решение пригодится разработчикам ИИ-агентов и исследователям, работающим с функцией вызова инструментов в открытых моделях.
Ключевые особенности
- Обучена методом QLoRA (квантованная LoRA в 4-bit NF4) с рангом 16 — затрагивает всего 0,52% параметров базы (около 41,9 млн).
- Стопроцентная валидность (1.0) как схемы аргументов, так и их значений при генерации вызовов инструментов.
- Повышает точность шагов (Step accuracy) до 0,468 и совпадение набора инструментов до 0,2308 на отложенной выборке из 104 задач.
- Доступна как в виде отдельного PEFT-адаптера, так и в виде уже объединённой модели в соседнем репозитории автора.
Что можно сделать
- Подключить адаптер через библиотеку
peftк базовой aya-expanse-8b для локальных агентов, выполняющих маршрутизацию и триаж запросов. - Использовать как референс или отправную точку для дообучения небольших LLM строгому соблюдению JSON-схем при вызове API.
Пример
Модель подключается поверх CohereLabs/aya-expanse-8b с помощью библиотеки peft. На вход подаётся диалог из системного промпта с описанием доступных инструментов и запроса пользователя, а на выходе модель генерирует корректно структурированный вызов нужного инструмента и его аргументов.
Подробнее
Бенчмарк Lexsi (n=104, 8-bit, greedy): Exact tool-call accuracy выросла с 0/104 (0.0) до 23/104 (0.2212), Step accuracy — 0.468.Обучение: 340 примеров (тройки system/user/assistant), 1 эпоха (43 шага), max_seq_len 1536, итоговый loss 0.4614.
Железо: обучение заняло 145,3 минуты на двух видеокартах Tesla T4.
Ограничения: лицензия CC BY-NC 4.0 (только для некоммерческого использования, унаследована от базы).










Комментарии