Датасет · Anthropic
Бенчмарк дискриминации при принятии решений от Anthropic
Anthropic/discrim-eval
Набор промптов с 70 жизненными сценариями для проверки LLM на возрастную и гендерную предвзятость.
Что внутри
Датасет от Anthropic на английском языке содержит от 10 до 100 тысяч записей в текстовом и табличном форматах. Внутри представлены промпты с 70 гипотетическими сценариями принятия решений (например, одобрение кредита или выдача пресс-карты), где модели нужно ответить «да» или «нет». В каждом запросе варьируются демографические признаки человека: возраст (от 20 до 100 лет с шагом 10) и гендер.
Что можно сделать
- Проверка LLM на дискриминацию по возрасту и гендеру в автоматизированных решениях
- Бенчмаркинг справедливости (fairness) моделей перед внедрением в бизнес-процессы
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 1,5 тыс.
- Лайков
- 63
Как загрузить
from datasets import load_dataset
ds = load_dataset("Anthropic/discrim-eval")