Cevra-ToolChoice-4B
выбор инструмента по вероятностям
2 min readupdated
Модель решает узкую, но важную задачу в агентских системах: по тексту запроса и списку описаний инструментов выбрать, какой из них нужен, или сказать, что инструмент не нужен. На выходе — распределение вероятностей по предложенным вариантам, а не готовый вызов: аргументы модель не собирает и инструменты не запускает. Это полновесный merged-файнтюн Qwen3.5-4B от EugeneEvstafev; LoRA rank 16 обучали на примерах из ToolBench, затем слили с базой. В отличие от обычной генерации, здесь нужно специально скорить логиты меток через DecisionRenderer qwen3_5 — обычный текст или JSON такие вероятности не даст. Пригодится разработчикам агентов, роутеров инструментов и ботов, которым нужно выбирать API и отсеивать запросы без инструмента.
Ключевые особенности
- Выбирает один вариант из списка описаний инструментов, включая
no_tool. - Возвращает распределение вероятностей по кандидатам, а не текстовый ответ.
- Полновесный merged-файнтюн Qwen3.5-4B: LoRA rank 16, затем слияние с базой.
- Требует DecisionRenderer
qwen3_5и скоринга логитов; обычная генерация не воспроизводит вероятности. - Обучен на 4 048 примерах выбора из ToolBench-снапшота.
Что можно сделать
- Сделать роутер для бота: по запросу выбирать функцию или API из заданного списка описаний.
- Добавить ветку
no_tool, чтобы не вызывать инструмент на болтовню или запросы вне сценария. - Использовать вероятности как оценку уверенности и вручную проверять спорные случаи.
- Прототипировать диспетчер инструментов для агента на Qwen3.5-4B, если нужен именно выбор из кандидатов.
Пример
import torch
from transformers import AutoModelForImageTextToText, AutoTokenizer
from tinker_cookbook import renderers
from tinker_cookbook.recipes.decisions import DecisionRenderer
repo = 'EugeneEvstafev/cevra-toolchoice-4b'
model = AutoModelForImageTextToText.from_pretrained(repo, dtype=torch.bfloat16, device_map='cuda:0').eval()
tokenizer = AutoTokenizer.from_pretrained(repo)
renderer = DecisionRenderer(renderers.get_renderer('qwen3_5', tokenizer))
Подробнее
На тесте: agreement 98.03% против 78.57% у базы Qwen3.5-4B; Brier 0.02017 против 0.29733.Обучение: 4 048 примеров из ToolBench-снапшота, 1 эпоха, 203 шага, batch 16, lr 0.0001; LoRA rank 16, затем merge.
Нужен GPU под 4B BF16; точные требования к VRAM не указаны. Обычная генерация текста или JSON не воспроизводит вероятности — нужен DecisionRenderer qwen3_5.
Метрики — согласие с метками датасета, не независимая оценка реальной точности; тест был доступен при разработке.










Comments