Датасет · hails
Бенчмарк MMLU без обучающего сплита
hails/mmlu_no_train
Облегченная копия текстового бенчмарка MMLU на английском языке для быстрой проверки моделей.
Что внутри
Внутри находятся текстовые задания в формате question-answering на английском языке. Объем составляет от 10 до 100 тысяч примеров. Это копия известного набора cais/mmlu, из которой убрали сплит auxiliary_train, чтобы ускорить загрузку подмножеств.
Что можно сделать
- Оценка общих знаний и логики языковых моделей (LLM)
- Ускоренное прогонение бенчмарков в пайплайнах без лишней генерации данных
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 65,8 тыс.
- Лайков
- 39
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("hails/mmlu_no_train")