К содержимому

Датасет · edinburgh-dawg

Переразмеченная версия бенчмарка MMLU (5 700 вопросов)

edinburgh-dawg/mmlu-redux-2.0

Очищенный вручную набор из 5 700 вопросов по 57 дисциплинам на английском языке для точной оценки LLM.

Что внутри

Датасет представляет собой подвыборку из 5 700 вопросов классического бенчмарка MMLU по 57 предметам, которые были заново проверены и переразмечены вручную. Работа опубликована на конференции NAACL 2025, а авторы продолжают точечно исправлять найденные ошибки в задачах по математике и алгебре.

Что можно сделать

  • Надёжная оценка знаний и логики языковых моделей без шума оригинального MMLU
  • Сравнение чекпоинтов при дообучении моделей на академических задачах
Задачи
Вопрос-ответ
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
65,9 тыс.
Лайков
38

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("edinburgh-dawg/mmlu-redux-2.0")