heal-trajectory-cycle-c1
LoRA для исправления ошибок ИИ-агентов
2 мин чтенияобновлено
LoRA-адаптер (небольшая надстройка над базовой моделью) для Aya Expanse 32B от проекта ReAgent (хакатон Lexsi Labs), созданный для борьбы с галлюцинациями в диалоговых агентах. Адаптер получен после одного полностью автоматического цикла «лечения»: система сама нашла 106 провалов базовой модели на задачах клиентского сервиса (ритейл, авиакомпании, телеком) и переобучила её на проверенных диалогах модели-учителя. В результате агент значительно реже ошибается в аргументах функций и не зацикливается при работе с инструментами. Пригодится разработчикам, которые строят автономных ассистентов поддержки на базе моделей Cohere.
Ключевые особенности
- Автоматическое обучение: весь цикл поиска ошибок, дообучения на 136 верифицированных диалогах (датасет ReAgent golden trajectories) и проверки качества прошёл без участия человека.
- Снижение сбоев инструментов: среднее число ошибок вызова функций, аргументов и зацикливаний на диалог упало с 8.22 до 1.03.
- Рост точности на dev-выборке: модель успешно решила 22 из 36 задач бенчмарка τ²-bench против 6 у исходной Aya Expanse 32B.
- Готовность к продакшену: адаптер легко подключается через библиотеку
peftили разворачивается на сервере с помощьюvLLM.
Что можно сделать
- Встроить в ботов клиентской поддержки для сферы ритейла, авиаперевозок и телекома, чтобы снизить число сбоев при вызове API.
- Использовать как референс для построения собственных конвейеров самообучения агентов на базе формата вызова инструментов Cohere (
Action:). - Развернуть через
vLLMс флагом--enable-loraповерх базовойCohereLabs/aya-expanse-32bдля быстрой обработки запросов.
Пример
from peft import PeftModel
from transformers import AutoModelForCausalLM
base = AutoModelForCausalLM.from_pretrained("CohereLabs/aya-expanse-32b", device_map="auto")
model = PeftModel.from_pretrained(base, "reagent-lexsi/heal-trajectory-cycle-c1")
Подробнее
Метрики: 22/36 на dev-наборе τ²-bench (у базы — 6/36); воспроизводит результат SFT v2 (51.5% на test).Учитель для генерации обучающих траекторий: GLM-5.3-Flash с проверкой валидатором τ²-bench.
Ограничения: лицензия CC BY-NC 4.0 (только некоммерческое использование), требуется доступ к базовой Aya Expanse 32B.










Комментарии