К содержимому

Датасет · lighteval

Бенчмарк MMLU с вопросами по 57 областям знаний

lighteval/mmlu

Классический многозадачный тест из вопросов с вариантами ответа для оценки общих знаний языковых моделей.

Что внутри

Известный академический бенчмарк для проверки эрудиции и понимания языка (Massive Multitask Language Understanding). Включает вопросы с множественным выбором на английском языке по 57 дисциплинам из гуманитарных, социальных, точных и других наук. Текстовый датасет содержит от 1 до 10 млн записей.

Что можно сделать

  • Оценка качества и эрудиции больших языковых моделей (LLM) по 57 предметам
  • Сравнение моделей до и после SFT или дообучения на предметных данных
  • Валидация систем вопросно-ответного поиска
Задачи
Вопрос-ответ
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
12,7 тыс.
Лайков
44

Как загрузить

from datasets import load_dataset

ds = load_dataset("lighteval/mmlu")