К содержимому

Датасет · hails

Бенчмарк MMLU без обучающего сплита

hails/mmlu_no_train

Облегченная копия текстового бенчмарка MMLU на английском языке для быстрой проверки моделей.

Что внутри

Внутри находятся текстовые задания в формате question-answering на английском языке. Объем составляет от 10 до 100 тысяч примеров. Это копия известного набора cais/mmlu, из которой убрали сплит auxiliary_train, чтобы ускорить загрузку подмножеств.

Что можно сделать

  • Оценка общих знаний и логики языковых моделей (LLM)
  • Ускоренное прогонение бенчмарков в пайплайнах без лишней генерации данных
Задачи
Вопрос-ответ
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
65,8 тыс.
Лайков
39

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("hails/mmlu_no_train")