Датасет · cais
Бенчмарк оценки опасных знаний и забывания (unlearning) в LLM
cais/wmdp
Тесты с выбором ответа на английском языке для проверки моделей на знание опасных тем и оценки методов их удаления.
Что внутри
Датасет представляет собой набор вопросов с вариантами ответов (multiple-choice) на английском языке общим объёмом от 1 до 10 тысяч записей. Вопросы служат косвенным индикатором опасных знаний в трёх критических областях: биобезопасности, кибербезопасности и химической безопасности. Разработан организацией CAIS.
Что можно сделать
- Аудит языковых моделей на наличие потенциально опасных знаний перед релизом
- Тестирование и сравнение алгоритмов machine unlearning для безопасного стирания информации из весов LLM
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 29,8 тыс.
- Лайков
- 32
Модели, обученные на нём
- mradermacher/NPO-SAM-WMDP-llama3-8b-instruct-i1-GGUF 1,3 тыс.
- itssaharsh/tiny-aya-global-unlearn-bio-circuitkit-layersГенерация текста 1 тыс.
- mradermacher/Yi-34B-Chat_RMU-i1-GGUF 870
- itssaharsh/tiny-aya-global-unlearn-bio-default-layersГенерация текста 705
- mradermacher/NPO-SAM-WMDP-llama3-8b-instruct-GGUF 629
- mradermacher/Yi-34B-Chat_RMU-GGUF 551
- itssaharsh/tiny-aya-global-unlearn-bio-deeper-layers-file-trainedГенерация текста 547
- itssaharsh/tiny-aya-global-unlearn-bio-deeper-layersГенерация текста 459
Как загрузить
from datasets import load_dataset
ds = load_dataset("cais/wmdp")