К содержимому

Датасет · AI45Research

Бенчмарк безопасности траекторий ИИ-агентов

AI45Research/ATBench

Набор длинных сценариев работы ИИ-агентов с инструментами для оценки и диагностики их безопасности.

Что внутри

В репозитории собраны полные траектории выполнения задач ИИ-агентами с вызовом внешних инструментов: свежий релиз включает 1000 траекторий, а также сохранена первая версия ATBench500 на 500 примеров. Данные содержат текст, таблицы и изображения, охватывают 2084 доступных инструмента и в среднем длятся около 9 шагов. Сэмплы сбалансированы по безопасным и небезопасным сценариям и прошли фильтрацию правилами, LLM и полную ручную проверку. Небезопасные случаи размечены по таксономии из трёх осей: источник риска, режим сбоя и реальный ущерб.

Что можно сделать

  • Оценка безопасности и надёжности длинных агентских цепочек с вызовами инструментов
  • Тестирование и диагностика защитных фильтров (guardrails) для ИИ-агентов
Размер
1K–10K записей
Скачиваний за месяц
2,3 тыс.
Лайков
46

Как загрузить

from datasets import load_dataset

ds = load_dataset("AI45Research/ATBench")