qwen2.5-3b-toolcall-abstain-v6
точный вызов инструментов с функцией отказа
2 мин чтенияобновлено
Новая языковая модель на базе Qwen2.5-3B-Instruct дообучена для точной работы с внешними инструментами (tool calling) и JSON-схемами. Модель умеет не только формировать корректные вызовы функций, но и вовремя отказываться от них, если подходящего инструмента нет, либо задавать уточняющие вопросы при нехватке данных. Решение создано для разработчиков локальных AI-агентов и систем автоматизации, а в репозитории доступны объединенная модель, 4-битная версия для Apple Silicon (через MLX) и LoRA-адаптер.
Ключевые особенности
- Специализация на агентах: оптимизирована под сложные сценарии с выбором функций и фильтрацией отвлекающих нерелевантных инструментов.
- Надежный отказ: значительно превосходит базовую модель в определении моментов, когда вызывать инструменты не требуется.
- Готовность к Mac: содержит 4-битную версию
mlx/для эффективного запуска на Apple Silicon через библиотекуmlx-lm. - Эффективное обучение: создана методом QLoRA на публичных датасетах (xLAM, Glaive, Hermes, ToolACE).
Что можно сделать
- Собрать локального агента: подключить модель к внешним API, базам данных или инструментам через кастомный пайплайн.
- Автоматизировать задачи: использовать модель для структурированного вызова функций в ботах и сервисах.
- Запустить на Apple Silicon: развернуть 4-битную версию модели локально на Mac для быстрой работы.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
m = 'siva-0104/qwen2.5-3b-toolcall-abstain-v6'
tok = AutoTokenizer.from_pretrained(m)
model = AutoModelForCausalLM.from_pretrained(m, torch_dtype='auto')
Подробнее
Бенчмарки: BFCL simple exact match — 89.7%, BFCL irrelevance abstained — 87.1%, xLAM exact — 77.3%.Ограничения: поддерживается только английский язык; при нехватке параметров модель иногда подставляет значения вместо вопросов; производительность ретривера падает при тысячах доступных инструментов.
Обучение: QLoRA, 4-bit NF4, LoRA r=16 alpha=32, 1 эпоха на Kaggle T4 за 169 минут.
Лицензия: наследует условия Qwen Research License.










Комментарии