Keel-Pro
модель принятия решений и маршрутизации на базе Qwen3.5-27B
2 мин чтенияобновлено
Модель принимает на вход состояние (например, текст тикета или контекст) и набор типизированных вопросов (choice, score или noul для ответов да/нет), а на выходе возвращает выбранный вариант, уровень уверенности и распределение вероятностей. Это LoRA-адаптер (небольшая обучаемая надстройка над базовой моделью) для Qwen/Qwen3.5-27B от автора neerumsr с открытыми весами под лицензией Apache-2.0. В отличие от стандартных LLM, она решает задачи выбора за один прямой проход (forward pass) через softmax по логитам вариантов, а при нескольких вопросах к одному контексту переиспользует общий префикс токенов. Решение пригодится разработчикам агентов, систем маршрутизации обращений и бэкенд-сервисов, где нужна быстрая и предсказуемая логика ветвления.
Ключевые особенности
- Высокая точность выбора: набирает 62.73 балла на полном публичном наборе Decision Index 0.3 (139 677 запросов), выступая на уровне оценки Microsoft-Decision-1 (≈62) и опережая Jev 1.14 (60.70).
- Быстрый инференс: медианная задержка составляет 245 мс на запрос на RTX 5090 благодаря движку
hybrid_engine.pyс общим кэшем префикса (prefix_share=1). - Усреднение чекпоинтов (Model Soup): итоговый адаптер
soup78получен путём объединения двух прогонов обучения (it7иit8) в единую LoRA ранга 64 (217.6M обучаемых параметров). - Гибкое развёртывание: работает через сервер на базе PEFT в 4-битном режиме либо через
llama.cppв форматах GGUF (Q4_K_M весит 16.8 ГБ и совпадает с оригиналом в 30 из 30 тестовых проверок).
Что можно сделать
- Умная маршрутизация тикетов: автоматически распределять входящие запросы пользователей между отделами (биллинг, техподдержка, аккаунты) с оценкой уверенности.
- Оркестрация ИИ-агентов: использовать как быстрый роутер для выбора нужного инструмента или ветки сценария по текущему состоянию диалога.
- Скоринг и фильтрация данных: оценивать релевантность документов или проверять выполнение критериев в пайплайнах обработки текста.
Пример
python serve/keel_pro_server.py \
--model-dir models/Qwen3.5-27B \
--adapter models/keel-pro \
--load-4bit --port 8090
Подробнее
Бенчмарки (Decision Index 0.3): 62.73 на полном публичном сьюте (tools: 0.841, language: 0.642, retrieval: 0.639, arts: 0.565, knowledge: 0.476); на контрольной выборке report — 61.96 (95% ДИ: 58.98–64.42).Железо и скорость: обучалась на одной RTX 5090 (32 ГБ) с QLoRA (4-bit NF4); медиана 245 мс, p80 — 438 мс, p95 — 1.27 с; на CPU в llama.cpp (12 потоков) — около 15.4 с на вопрос.
Ограничения: поддерживает только английский язык, слабее справляется со сложными задачами на рассуждение (GPQA, ChessBench, CRUXEval), вероятности не откалиброваны. Не предназначена для модерации безопасности без дополнительной проверки.










Комментарии