LyzrAI/IntuitionGuard-3B
быстрый страж безопасности для AI-агентов
2 мин чтенияобновлено
Новая модель представляет собой LoRA-адаптер (небольшая надстройка над базовой моделью) на базе Ministral-3-3B-Instruct-2512, обученный оценивать траектории работы AI-агентов (задачи пользователя, мысли агента, вызовы инструментов и их результаты). Модель не блокирует действия, а возвращает единое число p_unsafe для отправки предупреждений человеку или защитному слою. Она разработана для проектов, где важны низкая латентность и высокая скорость обработки данных при сохранении точности.
Ключевые особенности
- Высокая скорость: работает примерно в 2 раза быстрее 8-версии и имеет медианную задержку около 53 мс на L40S.
- Сильные результаты: достигает AUROC 0.972 на бенчмарке R-Judge (в ансамбле из трех сидов).
- Компактный размер: 3B параметров — меньше многих открытых аналогов, с которыми она конкурирует.
- Прозрачное обучение: создана без использования выходов проприетарных frontier-моделей (только открытые учителя StepGuard-4B и AgentDoG1.5-4B).
Что можно сделать
- Мониторинг агентов: встроить в конвейер выполнения задач AI-агентов для свовременного выявления небезопасных шагов.
- Анализ траекторий: проверять логовку вызовов инструментов и действий пользователя с помощью скрипта score.py.
- Ансамблирование: использовать несколько обученных сидов (seed 0, 1, 2) для снижения вариативности оценок.
Пример
import torch
from transformers import AutoTokenizer
from peft import PeftModel
base = "mistralai/Ministral-3-3B-Instruct-2512-BF16"
tok = AutoTokenizer.from_pretrained(base, fix_mistral_regex=True)
model = PeftModel.from_pretrained(
AutoModelForImageTextToText.from_pretrained(base, dtype=torch.bfloat16, device_map="cuda"),
"LyzrAI/IntuitionGuard-3B"
)Подробнее
• Архитектура: LoRA rank 16 на Ministral-3-3B-Instruct-2512 (q, k, v, o, gate, up, down проекции).• Требования к железу: около 8 ГБ свободной VRAM в формате bf16 для запуска.
• Датасет: 6000 траекторий из StepGuard-Data, agent-action-safety-dataset и AgentDrift.
• Ограничения: работает только с английским языком, обрабатывает только текст и выдает общую оценку без локализации конкретного шага.










Комментарии