Shinigami V3
детектор вредоносных shell-команд
1 min readupdated
Shinigami V3 — компактный бинарный классификатор на базе DistilBERT (distilbert-base-uncased), который отличает безопасные shell-команды и входы инструментов от поте��циально вредоносных. Модель предназначена как inference-компонент для систем безопасности AI-агентов и приложений, работающих с внешними инструментами. Размер — около 0.07 млрд параметров, максимальная длина последовательности — 256 токенов.
Ключевые особенности
- Архитектура DistilBERT, базовая модель distilbert-base-uncased, задача — бинарная текстовая классификация.
- Метки: 0 — BENIGN, 1 — MALICIOUS; accuracy на тесте — 97.49%.
- Precision по MALICIOUS — 98.19%, recall — 97.60%, F1 — 97.89%.
- FPR — 2.68%, FNR — 2.40%: ложные срабатывания и пропуски возможны.
- Лицензия MIT; модель классифицирует текст, но не выполняет команды и не применяет политики безопасности.
Пример
Сценарий из карточки: на вход подаётся shell-команда или текст вызова инструмента, модель возвращает одну из меток. Например, для явно вредоносной команды вроде rm -rf / ожидаемый результат — MALICIOUS, для безопасной — BENIGN.
Подробнее
Accuracy — 97.49%, malicious F1 — 97.89%, FPR — 2.68%, FNR — 2.40%.Максимальная длина входа — 256 токенов; параметров около 0.07 млрд.
Ограничения: прогнозы основаны на текстовых паттернах, без контекста выполнения; confidence не гарантирует безопасность.
Автор рекомендует сочетать модель с детерминированными политиками, авторизацией и least-privilege.










Comments