nari-decision-9b
быстрая модель принятия решений за один проход
3 мин чтенияобновлено
Модель от разработчика blackmallangcow на базе Qwen3.5-9B (7.95B параметров, только текстовая часть), созданная специально для классификации, маршрутизации запросов и проверок безопасности без генерации длинного текста. Вы передаёте ей контекст (состояние диалога, документ или вывод инструмента) и список вопросов трёх типов: «да/нет» (noul), выбор одного варианта (choice) или порядковая шкала (score). В отличие от обычных LLM, которые тратят время на посимвольную генерацию, модель за один forward pass (один прямой проход нейросети) выдаёт откалиброванные вероятности сразу по всем вопросам, усредняя ответы специальной головы принятия решений и самой базовой модели. Подойдёт инженерам и разработчикам ИИ-агентов для быстрой фильтрации и распределения задач.
Ключевые особенности
- Мгновенный отклик: отвечает на несколько вопросов сразу за 42 мс на NVIDIA A100 80GB (с включённым
enable_cuda_graphs()) или 62 мс без него — на 43% быстрее clef-flash (9B) и на 70% быстрее JEV-9B. - Длинный контекст: принимает до 16 384 токенов на вход (вопросы и варианты ответов при превышении лимита не обрезаются).
- Калибровка вероятностей: для каждого типа вопросов подобрана температура на валидационной выборке (held-out ECE 0.016), что позволяет уверенно отсекать спорные случаи по порогу и передавать их человеку или более крупной LLM.
- Устойчивость к формулировкам: на 1000 парных проверок с утверждением и отрицанием (KLUE-NLI) модель правильно отвечает на оба варианта в 99.1% случаев.
Что можно сделать
- Настроить guardrails (защитные фильтры): проверять исходящие ответы бота на утечку персональных данных (PII), секретов и prompt injection перед отправкой пользователю.
- Маршрутизировать обращения и агентов: определять нужный отдел поддержки, необходимость уточняющего вопроса пользователю, релевантность документов в RAG или следующий шаг в мультиагентной системе.
- Размечать датасеты: массово прогонять записи через метод
decide()(около 24 запросов в секунду на A100) с автоматической отправкой неоднозначных примеров на ручную проверку.
Пример
from transformers import AutoModel, AutoTokenizer
tok = AutoTokenizer.from_pretrained("blackmallangcow/nari-decision-9b", trust_remote_code=True)
model = AutoModel.from_pretrained("blackmallangcow/nari-decision-9b", trust_remote_code=True).eval()
out = model.decide(
tok, state="고객: 지난주 주문이 두 번 결제됐어요. 한 건은 취소해 주세요.",
questions={"refund": {"type": "noul", "instructions": "환불·취소 요청인가요?"}}
)
Подробнее
Бенчмарки (точность после калибровки): held-out — 86.8% (ko) и 86.3% (en); System One eval set — 82.9% (ko) и 75.6% (en); MMMLU-ko (zero-shot) — 63.4%.Железо: веса в формате bf16 занимают 15.92 ГБ, требуется GPU с запасом VRAM сверх этого объёма (квантованных версий нет, так как квантование сбивает калибровку температур).
Ограничения: поддерживает только корейский и английский языки; не предназначена для генерации текста, сложного логического рассуждения и автономных решений в медицине, праве, найме или кредитовании.
Обучение: 2 этапа (всего 29 214 шагов) на смеси из 368 269 основных и 99 152 синтетических программно-проверенных записей.










Комментарии