AgentTune: Qwen2.5-3B ReAct Agent LoRA
агентный режим для компактной модели
2 мин чтенияобновлено
Это QLoRA-адаптер (лёгкая надстройка для дообучения моделей с квантованием), который учит компактную языковую модель Qwen2.5-3B-Instruct многошаговому агентному рассуждению. Модель начинает работать по фреймворку ReAct (цикл «мысль — действие — наблюдение — ответ»), что позволяет ей осознанно выбирать внешние инструменты и доводить задачи до финала. По сравнению с базовой версией без дообучения, адаптер кардинально повышает точность выбора нужного инструмента и успешность выполнения сценариев. Решение пригодится разработчикам локальных ИИ-агентов и автоматизаций, которым важна стабильная работа с инструментами на компактном железе.
Ключевые особенности
- Рост точности выбора инструментов: показатели Tool Selection Accuracy и Exact Tool Match выросли с 30% в режиме zero-shot до 100% на тестовых данных.
- Надёжное завершение задач: общая успешность выполнения (Task Success Rate) поднялась с 93.3% до 100%.
- Компактная база: адаптер построен на лёгкой модели Qwen2.5-3B-Instruct через библиотеку PEFT, что позволяет запускать его без дорогих серверных видеокарт.
Что можно сделать
- Собрать локального ИИ-агента: подключить модель к пайплайну с внешними API или функциями, чтобы она пошагово планировала действия и вызывала нужные инструменты.
- Оптимизировать пайплайны с инструментами: заменить более тяжёлые модели в задачах маршрутизации запросов и выбора функций (tool use) на лёгкую связку Qwen2.5-3B + LoRA.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
base_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-3B-Instruct")
model = PeftModel.from_pretrained(base_model, "mrehmanbee22/agenttune-qwen2.5-3b-react-lora")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-3B-Instruct")Подробнее
Метрики (Zero-Shot → Fine-Tuned): Task Success Rate 93.3% → 100%, Tool Selection Accuracy 30.0% → 100%, Exact Tool Match 30.0% → 100%.Детали обучения: QLoRA (4-bit NF4, double quantization), rank 16 / alpha 32, все проекции attention и MLP.
Датасет и время: 500 траекторий ReAct, 3 эпохи, learning rate 2e-4 (cosine), ~10 минут на GPU L4, final loss 0.419.










Комментарии