Датасет · AI45Research
Бенчмарк безопасности траекторий ИИ-агентов
AI45Research/ATBench
Набор длинных сценариев работы ИИ-агентов с инструментами для оценки и диагностики их безопасности.
Что внутри
В репозитории собраны полные траектории выполнения задач ИИ-агентами с вызовом внешних инструментов: свежий релиз включает 1000 траекторий, а также сохранена первая версия ATBench500 на 500 примеров. Данные содержат текст, таблицы и изображения, охватывают 2084 доступных инструмента и в среднем длятся около 9 шагов. Сэмплы сбалансированы по безопасным и небезопасным сценариям и прошли фильтрацию правилами, LLM и полную ручную проверку. Небезопасные случаи размечены по таксономии из трёх осей: источник риска, режим сбоя и реальный ущерб.
Что можно сделать
- Оценка безопасности и надёжности длинных агентских цепочек с вызовами инструментов
- Тестирование и диагностика защитных фильтров (guardrails) для ИИ-агентов
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 2,3 тыс.
- Лайков
- 46
Как загрузить
from datasets import load_dataset
ds = load_dataset("AI45Research/ATBench")