К содержимому

Датасет · Anthropic

Бенчмарк дискриминации при принятии решений от Anthropic

Anthropic/discrim-eval

Набор промптов с 70 жизненными сценариями для проверки LLM на возрастную и гендерную предвзятость.

Что внутри

Датасет от Anthropic на английском языке содержит от 10 до 100 тысяч записей в текстовом и табличном форматах. Внутри представлены промпты с 70 гипотетическими сценариями принятия решений (например, одобрение кредита или выдача пресс-карты), где модели нужно ответить «да» или «нет». В каждом запросе варьируются демографические признаки человека: возраст (от 20 до 100 лет с шагом 10) и гендер.

Что можно сделать

  • Проверка LLM на дискриминацию по возрасту и гендеру в автоматизированных решениях
  • Бенчмаркинг справедливости (fairness) моделей перед внедрением в бизнес-процессы
Задачи
Вопрос-ответ
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
1,5 тыс.
Лайков
63

Как загрузить

from datasets import load_dataset

ds = load_dataset("Anthropic/discrim-eval")