tiny-aya-en-thinker-tau2-retail-lora
компактный ИИ-агент для клиентской поддержки
2 мин чтенияобновлено
Этот LoRA-адаптер (небольшая надстройка над базовой моделью) превращает компактную языковую модель CohereLabs/tiny-aya-en-thinker на 3.35B параметров в многошагового агента поддержки для сферы розничной торговли (retail). Адаптер обучен методом дистилляции поведения (behaviour cloning) на 370 успешных диалогах более крупной модели DeepSeek V4.1 Flash в рамках хакатона Lexsi. В отличие от базовой модели, которая почти не справляется с вызовом инструментов в диалоге, версия с адаптером стабильно формирует валидные вызовы API и доводит сценарии до конца. Подойдёт разработчикам, которые исследуют дистилляцию агентских навыков в локальные модели малого размера.
Ключевые особенности
- Прирост точности pass^1 на тесте τ²-bench retail с 2.5% у базовой модели до 40.0% (+37.5 п.п.).
- Доля синтаксически корректных вызовов инструментов (valid tool-call rate) выросла с 7.3% до 88.7%.
- Обучена на 370 траекториях DeepSeek V4.1 Flash (LoRA r=16, α=32) с максимальной длиной контекста до 12.9K токенов.
- Работает строго в заданном формате разметки с тегами
,и режимом/no_think.
Что можно сделать
- Запустить локального прототип-агента для обработки запросов покупателей в e-commerce и проверки работы с базами заказов.
- Использовать готовый пайплайн и лог обучения как референс для дистилляции многошаговых диалогов из крупных LLM в модели на 3–4B параметров.
- Сравнить стабильность вызова функций при разных способах инференса (например, с кэшированием префиксов и батчингом).
Пример
from transformers import AutoModelForCausalLM
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("CohereLabs/tiny-aya-en-thinker", dtype="float16", device_map="cuda")
model = PeftModel.from_pretrained(base, "ritabrata/tiny-aya-en-thinker-tau2-retail-lora")
Подробнее
Бенчмарк τ²-bench retail (40 тестовых задач × 3 попытки): pass^1 — 40.0%, pass^3 — 10.0%, valid tool-call rate — 88.7% (у учителя DeepSeek V4.1 Flash: 89.2%, 72.5% и 97.7% соответственно).Обучение: 3 эпохи в fp16 на одной видеокарте T4, effective batch 8, lr 1e-4.
Ограничения: только английский язык и один домен (retail); надёжность при многократных прогонах (pass^3) заметно уступает модели-учителю; без оптимизированного сервера инференса стоимость задачи на T4 выше API учителя.
Лицензия: CC-BY-NC-4.0 (только некоммерческое использование), для загрузки базы нужно принять условия доступа Cohere Labs.










Комментарии