SpanCall Lean v3
быстрый вызов инструментов без авторегрессии
2 мин чтенияобновлено
Модель SpanCall Lean v3 (архитектура spancall_lean_modernbert) от автора convoicon решает задачу распознавания и формирования вызовов внешних функций (tool calls). Вместо того чтобы долго генерировать JSON токен за токеном, как это делают обычные языковые модели, она извлекает нужную функцию и её аргументы за один прямой проход (forward pass). В основе лежит двунаправленный энкодер answerdotai/ModernBERT-large с двумя специализированными «головами» (H1 для выбора инструмента и H3 pointer head для выделения спанов параметров). Решение пригодится разработчикам ИИ-агентов и роутеров, которым важна низкая задержка при парсинге запросов пользователей.
Ключевые особенности
- Один прямой проход: формирует готовый вызов функции без авторегрессионной генерации JSON.
- База ModernBERT-large: использует двунаправленный энкодер с поддержкой контекста до 4096 токенов (
max_seq_len). - Двухэтапное извлечение: работает в режиме
two_stepс помощью пары голов H1 tool head и H3 pointer head. - Фокус на одиночном вызове: настроена на извлечение одного tool call за раз (
Single-call only: True) с порогомmin_joint_margin: 0.02.
Что можно сделать
- Ускорить голосовых и чат-ассистентов: заменить медленный этап генерации JSON при маршрутизации пользовательских команд к API.
- Встроить в ИИ-агентов с длинным контекстом: обрабатывать диалоги и описания инструментов длиной до 4096 токенов за один проход.
Пример
from huggingface_hub import hf_hub_download
from transformers import AutoTokenizer
tok = AutoTokenizer.from_pretrained("convoicon/spancall-lean-v3")
cfg = json.load(open(hf_hub_download("convoicon/spancall-lean-v3", "resolve_config.json")))
weights = hf_hub_download('convoicon/spancall-lean-v3', 'model.pt')
# далее инициализируются SpanCallTransformerEncoder и LeanSpanCallModel
Подробнее
Бенчмарк hermes_eval (limit=2000, n_F=1157): exact_F — 0.681, hit_F — 0.872, param_F1_F — 0.83, exact_all — 0.509.Для сравнения, базовый regex-бейзлайн B1a на тех же данных показывает exact_F 0.022 и param_F1_F 0.03.
Ограничения: поддерживается только один вызов инструмента за запрос (Single-call only), для запуска требуется воспроизвести классы модели из ноутбука автора.










Комментарии