Датасет · edinburgh-dawg
Очищенный поднабор бенчмарка MMLU (3 000 вопросов)
edinburgh-dawg/mmlu-redux
Вручную перепроверенные вопросы по 30 предметам из MMLU на английском языке для точной оценки моделей.
Что внутри
Набор включает 3 000 текстовых вопросов на английском языке, отобранных из 30 дисциплин бенчмарка MMLU и вручную переразмеченных для исправления ошибок. Работа принята на конференцию NAACL 2025, при этом в карточке отмечается наличие более новой версии MMLU-Redux-2.0 со всеми 57 предметами.
Что можно сделать
- Более точная оценка общих знаний и рассуждений англоязычных LLM без шума исходного MMLU
- Валидация моделей в научных и образовательных задачах по 30 дисциплинам
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 4 тыс.
- Лайков
- 38
Как загрузить
from datasets import load_dataset
ds = load_dataset("edinburgh-dawg/mmlu-redux")