SimpleTool-Qwen3.5-0.8B
восемь голов для вызова инструментов
2 min readupdated
Это merged-чекпоинт SimpleTool на базе Qwen3.5-0.8B (0.87 млрд параметров), который учит модель предлагать вызовы функций. Восемь логических ветвей — content, function и arg1…arg6 — делят один бэкбон и авторегрессивно генерируют ответ; внешняя LoRA или дополнительный базовый чекпоинт не нужны. Пометка «5%» относится к доле обучающих данных проекта, а не к прунингу модели. Чекпоинт сохранён в BF16 вместе с токенизатором и 17 специальными токенами; он пригодится разработчикам tool-calling ассистентов на китайском и английском. Модель только предлагает вызовы — выполнять и проверять их должно приложение.
Ключевые особенности
- Восемь ветвей: content, function и arg1…arg6; ветки используют общий бэкбон и генерируют независимо.
- Формат BF16: нативные merged BF16-тензоры с сохранёнными FP32 state-тензорами; шаг обучения 2474.
- В комплекте обученный токенизатор и все 17 специальных токенов открытия/закрытия/null.
- На SimpleTool Diagnostic 800 эталонный прогон 5% чекпоинта в INT4/FP16 дал 301/800 (37.625%) полных совпадений вызовов и 733/800 (91.625%) совпадений только имени функции.
- Промпт требует порядка: обязательные параметры первыми в properties, required в том же порядке; arg1…argN привязываются к этому порядку.
Что можно сделать
- Подключить чекпоинт к OpenAI-совместимому клиенту из infer_heads.py и посмотреть, какие вызовы функций он предлагает.
- Собрать прототип ассистента для китайского или английского, который предлагает вызов инструмента, а валидацию и исполнение делает ваше приложение.
- Проверить, как схема инструмента и порядок обязательных параметров влияют на качество выбора функции и аргументов.
- Сравнить восемь голов с обычным tool-calling подходом на собственных синтетических кейсах, не рассчитывая на готовый продовый бенчмарк.
Пример
Пример протокола из карточки: в описании инструмента обязательные параметры ставят первыми в properties, а required повторяет тот же порядок. Тогда arg1 привязывается к первому обязательному параметру, arg2 — ко второму, а неиспользуемые слоты до arg6 закрываются токеном <|null|>. Для запроса на китайском или английском модель сначала выбирает функцию, затем заполняет аргументы; выполнять вызов должен вызывающий код.
Подробнее
На SimpleTool Diagnostic 800: 301/800 (37.625%) полностью корректных обязательных вызовов и 733/800 (91.625%) совпадений только по имени функции; это эталонный прогон INT4/FP16, а не оценка BF16-артефакта.BF16-версия не проходила независимую inference-оценку; заявленные цифры нельзя переносить на неё или на другой промпт. В оценке инструменты не исполнялись, content-голова не генерировалась.
Нужен бэкенд с поддержкой архитектуры Qwen3.5/Qwen3.6 и формата квантования; для FP8 использовать BF16 compute. Языки: китайский и английский, лицензия Apache 2.0.
Задержка и пропускная способность не заявлены; вызовы нужно валидировать перед исполнением.










Comments