Датасет · McGill-NLP
Бенчмарк оценки стереотипов и предвзятости в языковых моделях
McGill-NLP/stereoset
17 000 предложений на английском языке для измерения гендерных, расовых, религиозных и профессиональных стереотипов у LLM.
Что внутри
Внутри находятся 17 000 предложений на английском языке, организованных в формате выбора ответа для проверки предвзятости языковых моделей. Датасет от исследователей McGill-NLP оценивает склонность моделей к стереотипам по четырем направлениям: пол, раса, религия и профессия.
Что можно сделать
- Тестирование и аудит языковых моделей на наличие социальных стереотипов и предвзятости
- Сравнение безопасности и этичности разных LLM перед выводом в продакшен
- Задачи
- Классификация текста
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 8,1 тыс.
- Лайков
- 31
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("McGill-NLP/stereoset")