Датасет · lighteval
Бенчмарк MMLU с вопросами по 57 областям знаний
lighteval/mmlu
Классический многозадачный тест из вопросов с вариантами ответа для оценки общих знаний языковых моделей.
Что внутри
Известный академический бенчмарк для проверки эрудиции и понимания языка (Massive Multitask Language Understanding). Включает вопросы с множественным выбором на английском языке по 57 дисциплинам из гуманитарных, социальных, точных и других наук. Текстовый датасет содержит от 1 до 10 млн записей.
Что можно сделать
- Оценка качества и эрудиции больших языковых моделей (LLM) по 57 предметам
- Сравнение моделей до и после SFT или дообучения на предметных данных
- Валидация систем вопросно-ответного поиска
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 12,7 тыс.
- Лайков
- 44
Как загрузить
from datasets import load_dataset
ds = load_dataset("lighteval/mmlu")