К содержимому

Датасет · tasksource

Облегчённая версия бенчмарка MMLU без дубликатов

tasksource/mmlu

Очищенная и быстрая версия известного бенчмарка MMLU на английском языке для оценки знаний языковых моделей.

Что внутри

Это перепакованная версия классического бенчмарка MMLU (hendrycks_test) на английском языке, из которой убрали вспомогательный обучающий набор (auxiliary train). Благодаря отсутствию дублирующихся данных размер сократился со 162 МБ до 7 МБ при объеме от 10 до 100 тысяч примеров. Данные предназначены для задач множественного выбора, классификации и ответов на вопросы.

Что можно сделать

  • Быстрая оценка эрудиции и общих знаний языковых моделей по десяткам дисциплин
  • Интеграция в пайплайны автоматического тестирования LLM без лишней нагрузки на диск и память
Задачи
Классификация текста, multiple choice, Вопрос-ответ
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
30,8 тыс.
Лайков
37

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("tasksource/mmlu")