DecidaBERT-large-v2
принятие решений за один проход без генерации токенов
2 мин чтенияобновлено
Модель от автора helmo читает описание ситуации и сразу набор типизированных вопросов, возвращая распределение вероятностей по всем ответам за один forward-pass (прямой проход нейросети). В основе лежит двунаправленный энкодер ModernBERT-large на 395M параметров с контекстом 8 192 токена — в отличие от первой версии, которая обучалась на 512 токенах. Модель поддерживает три типа вопросов: да/нет (noul), выбор варианта (choice) и шкалу оценок (score), а также выдаёт откалиброванный показатель уверенности (confidence) для настройки порогов срабатывания. Пригодится разработчикам агентов, SRE и SOC-инженерам для быстрой маршрутизации и классификации без затрат на авторегрессионную генерацию LLM.
Ключевые особенности
- Один проход на весь пакет: контекст и все вопросы читаются единой последовательностью, поэтому добавление новых вопросов почти не увеличивает стоимость вычислений.
- Контекст 8 192 токена: позволяет передавать длинные логи, диффы, тикеты и трейсы агентов целиком.
- Откалиброванная уверенность: поле
confidenceимеет ошибку калибровки 0.023 на тесте (уверенность 0.8 соответствует точности около 80%). - Рост качества относительно v1: общая точность на бенчмарке Typed Decisions выросла с 0.743 до 0.788.
Что можно сделать
- Разбирать инциденты информационной безопасности (SOC): по тексту алерта одновременно определять, реальна ли атака, оценивать критичность и выбирать действие (закрыть, расследовать или изолировать хост).
- Управлять логикой ИИ-агентов (go / no-go): проверять шаги выполнения, валидировать ответы и маршрутизировать запросы в пайплайнах без вызова тяжёлых LLM.
- Сортировать тикеты и логи в продакшене: развернуть локальный FastAPI-сервер из репозитория (
decision_server.py) для массовой оценки событий по заданным рубрикам.
Пример
from huggingface_hub import snapshot_download
import sys
path = snapshot_download("helmo/DecidaBERT-large-v2")
sys.path.insert(0, path)
from decidabert_v2 import load
model = load(path)
answers = model.predict("Alert: 41 failed SSH logins...", {
"true_positive": {"type": "noul", "instructions": "Is this a real attack?"}
})
Подробнее
Метрики на Typed Decisions (2 000 вопросов): общая точность 0.788 (v1 — 0.743), yes/no — 0.868, score — 0.759, choice — 0.747.Для вопросов типа score модель попадает в пределах одного уровня от эталона в 97.6% случаев.
Обучена на 41 000 записей из 60 IT-задач и train-сплите LocalLLaMA/typed-decisions (1 000 записей).
Ограничения: работает только с английским языком; лучше воспринимает словесное описание ситуации, чем сырые числа.










Комментарии