switchyard-decider
быстрый роутер запросов для LLM
2 мин чтенияобновлено
Модель switchyard-decider представляет собой файнтюн answerdotai/ModernBERT-large размером 0.4B параметров, созданный для оценки сложности запросов к кодинг-ассистентам. Она работает как локальный роутер: определяет сложность задачи, чтобы направить простой запрос более дешёвой и быстрой средней модели, а сложный — перенаправить на передовую (frontier) модель. Модель отвечает в среднем за 25 мс и достигает AUC 0.895 на англоязычных кодинг-промптах, заменяя громоздкие LLM-десидеры.
Ключевые особенности
- Высокая скорость: время отклика составляет около 23–25 мс (p50 на Apple Silicon MPS).
- Отличные метрики: AUC 0.895 на проверочном датасете, превосходящий показатели некоторых крупных моделей-учителей.
- Лёгкий вес: размер весов составляет около 792 МБ (fp16), а потребление памяти — около 560 МБ.
- Специализация: натренирована на ~153 тыс. промптов из популярных датасетов для оценки кодинг-задач.
Что можно сделать
- Интеграция в шлюз LLM: настроить автоматическую маршрутизацию входящих запросов по уровню сложности.
- Запуск HTTP-сервера: поднять локальный сервис оценки запросов через встроенный скрипт на Python.
- Оптимизация расходов: снизить затраты на API дорогих моделей, отправляя простые задачи на более дешёвые бэкенды.
Пример
import numpy as np
import torch
from transformers import AutoModelForSequenceClassification, AutoTokenizer
d = "switchyard-decider"
tok = AutoTokenizer.from_pretrained(d)
model = AutoModelForSequenceClassification.from_pretrained(d, dtype=torch.float32).eval()
text = "Rename the variable foo to bar in utils.py"
with torch.no_grad():
lg = model(**tok(text, truncation=True, max_length=768, return_tensors="pt")).logits[0].float()
print(lg.shape)
Подробнее
Бенчмарки: AUC 0.895 (v1.1 с ridge-пробой), до 0.904 на фиксированном подмножестве OpenRouter.Требования к железу: ~560 МБ VRAM/ОЗУ, запуск на CPU и Apple Silicon / GPU.
Ограничения: только английский язык, фокус исключительно на кодинг-ассистентах и чат-промптах.
Детали обучения: lr 3e-5, max length 768, bf16, обучение на NVIDIA RTX 5070 Ti.










Комментарии