Shinigami V3

Shinigami V3 — компактный бинарный классификатор на базе DistilBERT (distilbert-base-uncased), который отличает безопасные shell-команды и входы инструментов от поте��циально вредоносных. Модель предназначена как inference-компонент для систем безопасности AI-агентов и приложений, работающих с внешними инструментами. Размер — около 0.07 млрд параметров, максимальная длина последовательности — 256 токенов.

👀 Ключевые особенности

• 👀 Архитектура DistilBERT, базовая модель distilbert-base-uncased, задача — бинарная текстовая классификация.
• 💪 Метки: 0 — BENIGN, 1 — MALICIOUS; accuracy на тесте — 97.49%.
• 🤫 Precision по MALICIOUS — 98.19%, recall — 97.60%, F1 — 97.89%.
• 😌 FPR — 2.68%, FNR — 2.40%: ложные срабатывания и пропуски возможны.
• 🐾 Лицензия MIT; модель классифицирует текст, но не выполняет команды и не применяет политики безопасности.

👉 Пример

Сценарий из карточки: на вход подаётся shell-команда или текст вызова инструмента, модель возвращает одну из меток. Например, для явно вредоносной команды вроде rm -rf / ожидаемый результат — MALICIOUS, для безопасной — BENIGN.

Подробнее

Accuracy — 97.49%, malicious F1 — 97.89%, FPR — 2.68%, FNR — 2.40%.
Максимальная длина входа — 256 токенов; параметров около 0.07 млрд.
Ограничения: прогнозы основаны на текстовых паттернах, без контекста выполнения; confidence не гарантирует безопасность.
Автор рекомендует сочетать модель с детерминированными политиками, авторизацией и least-privilege.