К содержимому

Датасет · LabHC

Тексты биографий для оценки гендерной предвзятости

LabHC/bias_in_bios

Англоязычные биографии с разметкой по профессиям и полу для исследования смещений в NLP-моделях.

Что внутри

В датасете собрано от 100 тысяч до 1 миллиона коротких текстовых биографий на английском языке в табличном формате. Каждой записи сопоставлена профессия человека и бинарный признак пола. Это переработанная академическая версия известного корпуса Bias in Bios, из которой исключены 5 557 недоступных записей.

Что можно сделать

  • Аудит и оценка гендерной предвзятости (bias) в языковых моделях
  • Обучение классификаторов профессий по тексту
  • Разработка методов снижения дискриминации в алгоритмах машинного обучения
Задачи
Классификация текста
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
7,4 тыс.
Лайков
24

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("LabHC/bias_in_bios")