К содержимому

Датасет · harness-hub

Бенчмарк безопасности вызовов инструментов агентами

harness-hub/safeagents-judge-bench

Реальные траектории ИИ-агентов на английском языке для проверки безопасности их действий.

Что внутри

Небольшой набор (менее 1000 записей) на английском языке с реальными логами вызовов инструментов (tool calls), записанными во время работы кодинг-агентов. Среди примеров есть попытки агентов получить доступ к учётным записям и хранилищу оператора, при этом реальные ключи доступа скрыты.

Что можно сделать

  • Тестирование моделей-судей и фильтров безопасности для ИИ-агентов
  • Оценка уязвимостей кодинг-агентов к несанкционированному доступу к данным
Задачи
Классификация текста
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
2,6 тыс.
Лайков
30

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("harness-hub/safeagents-judge-bench")