ToolSure_Qwen2.5_1.5B_SFT
лёгкая модель для точного вызова функций
2 мин чтенияобновлено
Компактная языковая модель на 1.54B параметров от AmareshHebbar, дообученная для надёжной работы с внешними инструментами (function calling). Она построена на базе Qwen/Qwen2.5-1.5B-Instruct с помощью SFT (supervised finetuning — дообучение с учителем) и решает частую проблему маленьких моделей: сломанный JSON, выдуманные названия функций, пропущенные аргументы и лишние вызовы, когда ни один инструмент не подходит. В отличие от простого промптинга или constrained decoding (ограниченного декодирования по грамматике), обучение помогает модели выбирать правильную функцию, заполнять нужные значения и вовремя отвечать обычным текстом. Пригодится разработчикам агентов и ботов, которым нужна быстрая и компактная модель под vLLM.
Ключевые особенности
- Обучена на датасете
ToolSure_Calls_Qwen2.5_1.5Bкак на корректных вызовах инструментов, так и на примерах, где правильный ответ — обычный текст без вызова функций. - В корне репозитория лежат полные веса в формате
bf16 safetensors, а в папкеadapter/отдельно сохранен сам LoRA-адаптер (небольшая надстройка над базовой моделью). - Возвращает вызовы в стандартном формате Qwen2.5 (блоки
{...}), поэтому без доработок работает с парсеромhermesв vLLM. - Входит в коллекцию ToolSure из шести моделей, где на одних и тех же данных сравниваются пять методов обучения и constrained decoding.
Что можно сделать
- Развернуть локальный сервер генерации на базе vLLM с флагом
--tool-call-parser hermesдля обработки пользовательских запросов к API и внешним функциям. - Встроить в лёгких ИИ-агентов или чат-ботов, где критично не вызывать инструменты впустую, если подходящей функции нет в списке.
- Использовать отдельный LoRA-адаптер из папки
adapter/поверх оригинальнойQwen2.5-1.5B-Instructдля экспериментов или сравнения с другими методами из коллекции ToolSure.
Пример
from vllm import LLM, SamplingParams
llm = LLM("AmareshHebbar/ToolSure_Qwen2.5_1.5B_SFT")
tok = llm.get_tokenizer()
tools = [{"type": "function", "function": {"name": "get_weather", "parameters": {"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]}}}]
messages = [{"role": "user", "content": "What is the weather in Paris?"}]
prompt = tok.apply_chat_template(messages, tools=tools, tokenize=False, add_generation_prompt=True)
print(llm.generate([prompt], SamplingParams(temperature=0, max_tokens=512))[0].outputs[0].text)
Подробнее
Обучение: 1 эпоха, LoRA (r=64, alpha=128, dropout=0.0), lr=0.0001, max_len=3584, формат bf16.Бенчмарки в таблице README приведены только для базовых референсных моделей (у базовой Qwen2.5-1.5B-Instruct средний BFCL AST — 84.1%, Irrelevance — 63.3%), а сырые замеры самой модели лежат в папке
eval/.Ограничения: модель обучалась на английском языке, требования к VRAM в карточке не указаны.










Комментарии