Датасет · stanford-crfm
Бенчмарк безопасности ИИ AIR-Bench 2024 от Стэнфорда
stanford-crfm/air-bench-2024
Набор провокационных промптов на английском для проверки LLM на соответствие политикам безопасности.
Что внутри
Датасет от Stanford CRFM содержит от 10 до 100 тысяч разнообразных вредоносных промптов на английском языке. Примеры разбиты по категориям безопасности согласно таксономии AIR 2024, которая опирается на государственные регуляции и корпоративные политики. Предназначен для тестирования генеративных текстовых моделей.
Что можно сделать
- Аудит безопасности LLM и проверка устойчивости к джейлбрейкам
- Оценка соответствия моделей регуляторным требованиям и политикам компаний
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 6 тыс.
- Лайков
- 27
Как загрузить
from datasets import load_dataset
ds = load_dataset("stanford-crfm/air-bench-2024")