К содержимому

Датасет · edinburgh-dawg

Очищенный поднабор бенчмарка MMLU (3 000 вопросов)

edinburgh-dawg/mmlu-redux

Вручную перепроверенные вопросы по 30 предметам из MMLU на английском языке для точной оценки моделей.

Что внутри

Набор включает 3 000 текстовых вопросов на английском языке, отобранных из 30 дисциплин бенчмарка MMLU и вручную переразмеченных для исправления ошибок. Работа принята на конференцию NAACL 2025, при этом в карточке отмечается наличие более новой версии MMLU-Redux-2.0 со всеми 57 предметами.

Что можно сделать

  • Более точная оценка общих знаний и рассуждений англоязычных LLM без шума исходного MMLU
  • Валидация моделей в научных и образовательных задачах по 30 дисциплинам
Задачи
Вопрос-ответ
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
4 тыс.
Лайков
38

Как загрузить

from datasets import load_dataset

ds = load_dataset("edinburgh-dawg/mmlu-redux")