К содержимому

Датасет · McGill-NLP

Бенчмарк оценки стереотипов и предвзятости в языковых моделях

McGill-NLP/stereoset

17 000 предложений на английском языке для измерения гендерных, расовых, религиозных и профессиональных стереотипов у LLM.

Что внутри

Внутри находятся 17 000 предложений на английском языке, организованных в формате выбора ответа для проверки предвзятости языковых моделей. Датасет от исследователей McGill-NLP оценивает склонность моделей к стереотипам по четырем направлениям: пол, раса, религия и профессия.

Что можно сделать

  • Тестирование и аудит языковых моделей на наличие социальных стереотипов и предвзятости
  • Сравнение безопасности и этичности разных LLM перед выводом в продакшен
Задачи
Классификация текста
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
8,1 тыс.
Лайков
31

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("McGill-NLP/stereoset")