К содержимому

Датасет · cais

Бенчмарк оценки опасных знаний и забывания (unlearning) в LLM

cais/wmdp

Тесты с выбором ответа на английском языке для проверки моделей на знание опасных тем и оценки методов их удаления.

Что внутри

Датасет представляет собой набор вопросов с вариантами ответов (multiple-choice) на английском языке общим объёмом от 1 до 10 тысяч записей. Вопросы служат косвенным индикатором опасных знаний в трёх критических областях: биобезопасности, кибербезопасности и химической безопасности. Разработан организацией CAIS.

Что можно сделать

  • Аудит языковых моделей на наличие потенциально опасных знаний перед релизом
  • Тестирование и сравнение алгоритмов machine unlearning для безопасного стирания информации из весов LLM
Задачи
Генерация текста
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
29,8 тыс.
Лайков
32

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("cais/wmdp")