Switchboard router
умный распределитель запросов между маленькой и большой LLM
2 min read
Модель анализирует входящий промпт и оценивает вероятность того, что с ним справится дешёвая компактная языковая модель без потери качества. Если задача сложная, запрос уходит большой модели; если простая — остаётся у маленькой. В основе лежит answerdotai/ModernBERT-base (0.15B параметров), дообученная как бинарный классификатор (модель выбора из двух вариантов) от автора Ilf-Ali. В отличие от простого разделения по длине текста или случайного выбора, роутер учитывает суть инструкции и позволяет гибко балансировать между ценой и качеством через настройку порога.
Ключевые особенности
- При пороге уверенности 0.79 отправляет 80% запросов в маленькую модель, сохраняя 98.0% качества большой и снижая расходы на 30%.
- Работает быстро даже без видеокарты: задержка на CPU (4 потока, Apple silicon) составляет 50 мс в среднем (p50) и 134 мс в 95% случаев (p95).
- Порог срабатывания можно менять под задачу: повысить ради максимального качества ответов или понизить для большей экономии бюджета.
- Обучена на 1398 промптах с разметкой от LLM-судьи
qwen/qwen3.8-27bпо общим инструкциям, фактам, саммаризации, математике и коду.
Что можно сделать
- Встроить в OpenAI-совместимый прокси-сервер автора, чтобы автоматически направлять простые запросы в
openai/gpt-oss-20b, а сложные — вopenai/gpt-oss-120b. - Использовать как лёгкий префильтр на CPU перед дорогой генерацией в англоязычных чат-ботах и ассистентах.
Пример
from transformers import pipeline
router = pipeline("text-classification", model="Ilf-Ali/switchboard-router", top_k=None)
scores = {r["label"]: r["score"] for r in router("What is the capital of France?")[0]}
use_small = scores["small_ok"] >= 0.79
Подробнее
Метрики на тесте (300 промптов): средний балл судьи 4.30 (против 4.23 при случайном роутинге и 4.39 при постоянном использовании большой модели), ROC AUC 0.73 на тесте и 0.77 на валидации.Железо: легко запускается на CPU (p50 50 мс на Apple silicon), весит около 0.15B параметров.
Ограничения: работает только с английским языком и одношаговыми промптами (single turn); обучена строго под пару
openai/gpt-oss-20b и openai/gpt-oss-120b на Groq (для других LLM нужна переразметка).









Comments