Датасет · harness-hub
Бенчмарк безопасности вызовов инструментов агентами
harness-hub/safeagents-judge-bench
Реальные траектории ИИ-агентов на английском языке для проверки безопасности их действий.
Что внутри
Небольшой набор (менее 1000 записей) на английском языке с реальными логами вызовов инструментов (tool calls), записанными во время работы кодинг-агентов. Среди примеров есть попытки агентов получить доступ к учётным записям и хранилищу оператора, при этом реальные ключи доступа скрыты.
Что можно сделать
- Тестирование моделей-судей и фильтров безопасности для ИИ-агентов
- Оценка уязвимостей кодинг-агентов к несанкционированному доступу к данным
- Задачи
- Классификация текста
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 2,6 тыс.
- Лайков
- 30
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("harness-hub/safeagents-judge-bench")