Датасет · LabHC
Тексты биографий для оценки гендерной предвзятости
LabHC/bias_in_bios
Англоязычные биографии с разметкой по профессиям и полу для исследования смещений в NLP-моделях.
Что внутри
В датасете собрано от 100 тысяч до 1 миллиона коротких текстовых биографий на английском языке в табличном формате. Каждой записи сопоставлена профессия человека и бинарный признак пола. Это переработанная академическая версия известного корпуса Bias in Bios, из которой исключены 5 557 недоступных записей.
Что можно сделать
- Аудит и оценка гендерной предвзятости (bias) в языковых моделях
- Обучение классификаторов профессий по тексту
- Разработка методов снижения дискриминации в алгоритмах машинного обучения
- Задачи
- Классификация текста
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 7,4 тыс.
- Лайков
- 24
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("LabHC/bias_in_bios")