Датасет · edinburgh-dawg
Переразмеченная версия бенчмарка MMLU (5 700 вопросов)
edinburgh-dawg/mmlu-redux-2.0
Очищенный вручную набор из 5 700 вопросов по 57 дисциплинам на английском языке для точной оценки LLM.
Что внутри
Датасет представляет собой подвыборку из 5 700 вопросов классического бенчмарка MMLU по 57 предметам, которые были заново проверены и переразмечены вручную. Работа опубликована на конференции NAACL 2025, а авторы продолжают точечно исправлять найденные ошибки в задачах по математике и алгебре.
Что можно сделать
- Надёжная оценка знаний и логики языковых моделей без шума оригинального MMLU
- Сравнение чекпоинтов при дообучении моделей на академических задачах
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 65,9 тыс.
- Лайков
- 38
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("edinburgh-dawg/mmlu-redux-2.0")