Qwen3.5-9B-Guard
надежный вызов функций для агентов
2 мин чтения
Модель представляет собой специализированный файнтюн базовой LLM (большой языковой модели) Qwen/Qwen3.5-9B с размером 9.6B параметров, обученный для точного и безопасного вызова функций (tool calling). Она умеет анализировать список доступных инструментов и возвращать корректный JSON-список вызовов, а также корректно воздерживаться от вызова (возвращать пустой список []), если ни одна функция не подходит под запрос пользователя. Модель также сохраняет базовые навыки общения и приветствий. Новинка пригодится разработчикам AI-агентов, чат-ботов и систем автоматизации, которым критически важно избегать галлюцинаций при работе с внешними API.
Ключевые особенности
- Точный tool calling: выдает корректные вызовы функций в формате JSON с аргументами.
- Защита от ложных срабатываний: обучена возвращать пустые списки, если подходящей функции нет.
- Разговорные навыки: поддерживает обычный диалог и приветствия наряду с вызовом функций.
- Смешанный датасет: обучена на 10,755 примерах, включая позитивные кейсы и негативные примеры для снижения ошибок.
Что можно сделать
- Интеграция в AI-агентов: подключить модель в качестве ядра для обработки пользовательских команд и вызова внешних сервисов.
- Разработка чат-ботов: настроить бота, который умеет безопасно переключаться между ответами на общие вопросы и выполнением действий.
- Запуск через vLLM: развернуть локальный OpenAI-совместимый сервер для быстрой обработки запросов в продакшене.
Пример
import json
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_ID = "Rumiii/Qwen3.5-9B-Guard"
tok = AutoTokenizer.from_pretrained(MODEL_ID)
model = AutoModelForCausalLM.from_pretrained(MODEL_ID, dtype=torch.bfloat16, device_map="auto")
Подробнее
Базовая модель: Qwen/Qwen3.5-9B (9.65B параметров)Библиотека: transformers / vLLM
Датасеты: MadeAgents/xlam-irrelevance-7.5k, Salesforce/xlam-function-calling-60k
Особенности: обучение проводилось с отключенным thinking (enable_thinking=False)
Лицензия: Apache-2.0










Комментарии