nexus-decision-4b
компактная модель для маршрутизации и принятия решений
3 мин чтенияобновлено
nexus-decision-4b — открытая модель на 4.66 млрд параметров от автора zackyalgiffari, созданная не для чатов, а для автоматического принятия решений внутри программного кода. На вход она получает состояние приложения и типизированный вопрос (выбор из списка choice, да/нет binary или оценка по шкале score), а на выходе возвращает выбранный вариант, калиброванное распределение вероятностей по всем опциям и показатель уверенности. Модель дистиллирована (обучена на ответах и рассуждениях более крупной нейросети) из DeepSeek-V4.1-Flash на базе Qwen3.5-4B с помощью LoRA. В отличие от базовой модели, она значительно реже меняет ответ при перестановке вариантов местами и обходит даже своего учителя по точности. Инструмент пригодится разработчикам, которым нужна быстрая и предсказуемая логика ветвления вместо тяжёлых LLM.
Ключевые особенности
- Работа без генерации текста: в режиме
fastответ вычисляется за один прямой проход (forward pass) за 93 мс (p50 на NVIDIA L4), также доступен режимthinkс коротким рассуждением. - Калиброванная уверенность: можно задать порог уверенности — при значении ≥ 0.90 модель закрывает 74% вопросов с ошибкой всего 1.8%, а остальное передавать человеку.
- Устойчивость к порядку опций: смена порядка вариантов меняет лишь 3.6% ответов против 11.1% у исходной Qwen3.5-4B.
- Готовые форматы: помимо весов в
bf16для Transformers, выпущены квантованные версии MLX (4-bit и 8-bit) для Apple Silicon.
Что можно сделать
- Маршрутизация обращений в поддержке: раскладывать входящие письма и тикеты по очередям (оплата, доставка, передача оператору) и определять срочность ответа.
- Скоринг и фильтрация данных: оценивать лиды, проверять качество данных, определять тип документов и оценивать риски фрода по заданной шкале.
- Выбор инструментов для ИИ-агентов: использовать модель как быстрый роутер для выбора нужного API или функции перед запуском основной нейросети.
Пример
from nexus_decision import NexusDecision
nd = NexusDecision.from_pretrained("zackyalgiffari/nexus-decision-4b", backend="hf")
res = nd.decide({
"state": {"channel": "email", "body": "I was billed twice for order #4471, please fix it today."},
"questions": {
"route": {"type": "choice", "instructions": "Which queue should handle this?",
"options": {"billing": "Payments, refunds", "shipping": "Delivery", "needs_review": "Other"}},
"urgent": {"type": "binary", "instructions": "The customer needs a same-day response."},
},
}, mode="fast", debias=True)
Подробнее
Точность на 1,200 публичных тестовых вопросах (BANKING77 и CLINC150): 0.915 (+7.0 п.п. к базовой Qwen3.5-4B и выше, чем 0.892 у учителя DeepSeek-V4.1-Flash).Ошибка калибровки (ECE): 0.020 против 0.070 у учителя; на синтетических сценариях в 12 доменах точность составила 0.908.
Поддерживает от 2 до 26 вариантов ответа; слабее всего отрабатывает списки от 9 опций (0.877), модерацию (0.818) и вариант отказа
none_of_these (0.835).Основной язык — английский, в меньшем объёме представлены индонезийский, испанский, немецкий, французский, португальский и японский. Лицензия Apache-2.0.










Комментарии