Ling-3.0-tiny-Agent-Safety-Gate
фильтр безопасности для ИИ-агентов
2 мин чтенияобновлено
Модель проверяет действия ИИ-агента на безопасность и возвращает откатную вероятность того, что сценарий опасен. На вход подаются запрос пользователя, вызовы инструментов, наблюдения и финальный ответ агента, а два порога превращают итоговую оценку в одно из трёх решений: allow (разрешить), ask (запросить подтверждение) или deny (запретить). Это LoRA-адаптер (небольшая надстройка над базовой моделью) со встроенной головой классификации Linear-GELU-Linear, созданный поверх inclusionAI/Ling-3.0-tiny с помощью фреймворка AReno. В отличие от базовой модели (0.592 в среднем по тестам), адаптер существенно точнее распознаёт рискованные траектории. Пригодится разработчикам автономных агентов для контроля вызова инструментов.
Ключевые особенности
- Построен на базе
inclusionAI/Ling-3.0-tinyв формате PEFT (LoRA rank 8, alpha 16 для слоёв внимания и экспертных MLP). - Использует JEV decision head (Linear-GELU-Linear поверх скрытого состояния последнего токена) для выдачи откалиброванной вероятности.
- Поддерживает трёхуровневую маршрутизацию решений (allow / ask / deny) с готовыми порогами
frozen_thresholds_cpu.json. - Лицензия MIT как у самого адаптера, так и у базовой модели.
Что можно сделать
- Встроить в пайплайн автономного ИИ-агента как промежуточный шлюз перед выполнением критических вызовов инструментов (tool calls).
- Настроить ручное подтверждение действий пользователем, направляя пограничные запросы из зоны ask на дополнительную проверку.
- Запустить локальный HTTP-сервер через AReno для скоринга готовых логов и траекторий агентов на CPU.
Пример
areno serve --model-path /path/to/Ling-3.0-tiny --decision-checkpoint /path/to/this/repo --host 127.0.0.1 --port 8103Подробнее
Средняя точность (Accuracy) на 2 154 тестовых записях: 0.802 против 0.592 у базовой Ling-3.0-tiny, 0.599 у Safiron и 0.711 у ShieldAgent.Результаты по срезам: ASSE-Security — 0.983, ASSE-Safety — 0.820, Pre-Ex-Bench — 0.733, R-Judge — 0.674.
Ограничения: поддерживает только английский язык; уступает Safiron на Pre-Ex-Bench (0.935) и ShieldAgent на R-Judge (0.812).
Детали запуска: пороги в комплекте откалиброваны под CPU, при переходе на GPU или другой тип точности (bfloat16) их рекомендуется пересчитать.










Комментарии