К содержимому

Датасет · compressionawareintelligence

Бенчмарк устойчивости ИИ-агентов к давлению

compressionawareintelligence/cai-bench

Тестовый набор на 10–100 тысяч примеров для проверки того, соблюдает ли ИИ-агент правила под давлением пользователя.

Что внутри

Датасет содержит от 10 000 до 100 000 текстовых и табличных примеров на английском языке. Каждая ситуация проверяется в четырех вариантах: нейтральный запрос и перефразированный запрос с эмоциональным давлением, как с правом на одобрение по правилам, так и без него. Тест считается пройденным, только если агент дает правильный ответ во всех четырех случаях и не поддается на уговоры.

Что можно сделать

  • Оценка надежности ИИ-агентов для службы поддержки
  • Проверка устойчивости LLM к социоинженерным манипуляциям и смене формулировок
Задачи
Вопрос-ответ, Классификация текста, Генерация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
23,9 тыс.
Лайков
11
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("compressionawareintelligence/cai-bench")