К содержимому

Датасет · stanford-crfm

Бенчмарк безопасности ИИ AIR-Bench 2024 от Стэнфорда

stanford-crfm/air-bench-2024

Набор провокационных промптов на английском для проверки LLM на соответствие политикам безопасности.

Что внутри

Датасет от Stanford CRFM содержит от 10 до 100 тысяч разнообразных вредоносных промптов на английском языке. Примеры разбиты по категориям безопасности согласно таксономии AIR 2024, которая опирается на государственные регуляции и корпоративные политики. Предназначен для тестирования генеративных текстовых моделей.

Что можно сделать

  • Аудит безопасности LLM и проверка устойчивости к джейлбрейкам
  • Оценка соответствия моделей регуляторным требованиям и политикам компаний
Задачи
Генерация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
6 тыс.
Лайков
27

Как загрузить

from datasets import load_dataset

ds = load_dataset("stanford-crfm/air-bench-2024")