TinyRouter1-22M
сверхлёгкий роутер промптов для CPU
2 min readupdated
TinyRouter1-22M от автора Kuantum-ai1 — это компактный классификатор запросов на 22,7 млн параметров, созданный для маршрутизации промптов между специализированными нейросетевыми моделями. Модель принимает англоязычный запрос и относит его к одной из четырёх широких категорий (code, general, multilingual, stem), чтобы система могла отправить задачу подходящей узкопрофильной LLM. В основе лежит sentence-transformers/all-MiniLM-L6-v2, дообученная на отфильтрованном датасете MaziyarPanahi/Jev-Intent-Domain-Routing-130K. Главная фишка — вес всего 85 МБ и инференс (выполнение модели) на обычном CPU быстрее 50 мс без видеокарты, что отлично подходит для edge-устройств, мобильных приложений и дешёвой серверной инфраструктуры.
Ключевые особенности
- Работает без GPU: модель весит 85 МБ и обрабатывает запрос на CPU менее чем за 50 мс.
- Четыре домена маршрутизации: разделяет запросы на программирование (
code), общие темы (general), перевод и неанглоязычный текст (multilingual) и точные науки (stem). - Точность 89,48%: лучший результат достигнут на 3-й эпохе обучения на отложенной тестовой выборке из 1255 примеров.
- Коммерческая лицензия: распространяется под свободной лицензией Apache 2.0, как и базовая модель
all-MiniLM-L6-v2.
Что можно сделать
- Собрать мультимодельный чат-бот: автоматически перенаправлять вопросы по коду в специализированную code-LLM, задачи по математике и науке — в STEM-модель, а запросы на перевод — в мультиязычную модель.
- Запустить на слабом железе или в мобильном приложении: использовать как быстрый входной фильтр на CPU, чтобы не гонять тяжёлые языковые модели на каждом запросе.
Пример
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch, json
tok = AutoTokenizer.from_pretrained("Kuantum-ai1/TinyRouter1-22M")
model = AutoModelForSequenceClassification.from_pretrained("Kuantum-ai1/TinyRouter1-22M")
state = json.dumps({"conversation": [{"content": "How do I solve integrals?", "role": "user"}]})
enc = tok(state + " [SEP] Which broad domain best describes this conversation?", return_tensors="pt")
probs = torch.softmax(model(**enc).logits, dim=-1)[0]
Подробнее
Accuracy: 89.48% на 1255 тестовых примерах (потолок для MiniLM на этих данных — около 90–91% из-за шума в разметке).Железо и обучение: обучалась 25 минут на 1× T4 (14,5 ГБ), 23 842 примера в train,
max_length 256 токенов.Ограничения: обучена только на английских промптах (любые другие языки по задумке уходят в
multilingual), не учитывает историю диалога и хуже уверена на смешанных языках.









Comments