Датасет · compressionawareintelligence
Бенчмарк устойчивости ИИ-агентов к давлению
compressionawareintelligence/cai-bench
Тестовый набор на 10–100 тысяч примеров для проверки того, соблюдает ли ИИ-агент правила под давлением пользователя.
Что внутри
Датасет содержит от 10 000 до 100 000 текстовых и табличных примеров на английском языке. Каждая ситуация проверяется в четырех вариантах: нейтральный запрос и перефразированный запрос с эмоциональным давлением, как с правом на одобрение по правилам, так и без него. Тест считается пройденным, только если агент дает правильный ответ во всех четырех случаях и не поддается на уговоры.
Что можно сделать
- Оценка надежности ИИ-агентов для службы поддержки
- Проверка устойчивости LLM к социоинженерным манипуляциям и смене формулировок
- Задачи
- Вопрос-ответ, Классификация текста, Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 23,9 тыс.
- Лайков
- 11
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("compressionawareintelligence/cai-bench")