xevyo-01
быстрый планировщик действий для ИИ-ассистентов
2 мин чтенияобновлено
Модель выступает в роли предварительного маршрутизатора (turn planner) в чат-ботах: она сама не пишет ответ пользователю, а анализирует его реплику и возвращает компактный JSON-план действий для основной модели. Разработана командой Xevyo на базе Qwen/Qwen3.5-9B методом LoRA SFT (обучение с учителем через адаптеры, позже влитые в веса). По сравнению с базовой моделью и даже более крупной учительской Qwen3.6-27B она гораздо стабильнее выдаёт валидный JSON и на порядок быстрее определяет нужные инструменты. Пригодится разработчикам агентов, которым нужна низкая задержка при выборе поиска, калькулятора, работы с памятью или генерации файлов.
Ключевые особенности
- Комплексная маршрутизация: определяет уровень безопасности, необходимость веб-поиска с готовыми запросами, работу с изображениями, документами, памятью и вызов конкретных инструментов.
- Высокая скорость: медианная задержка составляет 0.40 секунды на одну реплику при запуске через vLLM на GPU класса H100.
- Точность планирования: на тестовом наборе из 1 610 диалогов выдаёт 100% валидных планов и достигает 89.0% по метрике F1 при выборе инструментов против 38.6% у исходной Qwen3.5-9B.
- Мультиязычность: обучена на данных на английском, испанском, хинди и хинглише (смесь хинди и английского).
- Открытая лицензия: распространяется под Apache 2.0, в репозитории также отдельно лежит исходный LoRA-адаптер.
Что можно сделать
- Поставить перед основной LLM в чат-боте: пропускать каждое сообщение через xevyo-01 через vLLM, чтобы заранее выполнить поиск в сети, расчёты или подтянуть факты из памяти до генерации финального ответа.
- Управлять мультимодальными и файловыми задачами: автоматически определять, когда пользователю нужно сгенерировать или отредактировать картинку, а когда собрать документ (PDF, DOCX, XLSX или PPTX).
- Адаптировать под свой стек инструментов: передать свой список доступных функций в системный промпт или дообучить модель с приложенного LoRA-адаптера под специфическую бизнес-логику.
Пример
pip install "vllm>=0.17.0"
vllm serve meet4150/xevyo-01 \
--served-model-name xevyo-01 --dtype bfloat16 \
--max-model-len 8192 --language-model-only \
--enable-prefix-caching --mamba-cache-mode align \
--reasoning-parser qwen3 --generation-config vllm
Подробнее
Бенчмарк (1 610 синтетических реплик): 62.8% точного совпадения всего плана (у Qwen3.5-9B — 14.9%, у Qwen3.6-27B — 26.8%), задержка p50 / p90 — 0.40 / 0.62 с.Железо: достаточно одной видеокарты с 24 ГБ VRAM и более (в репозитории веса в bfloat16 занимают 19.3 ГБ, из 9.65B параметров в работе используются 9.04B, визуальная часть базы не задействована).
Обучение: 3 раунда на 66 666 синтетических примерах (сгенерированы Qwen3.6-27B), LoRA rank 32, alpha 64.
Ограничения: тестировалась на контексте до 8 последних сообщений (~2 600 токенов); не является самостоятельной системой безопасности и требует детерминированной фильтрации поверх своих оценок.










Комментарии