Датасет · cais
MMLU: многозадачный бенчмарк
cais/mmlu
Бенчмарк из вопросов с выбором ответа по 57 предметам на английском.
Что внутри
MMLU — массивный многозадачный тест из вопросов с несколькими вариантами ответа по гуманитарным, социальным, точным и другим наукам. Охватывает 57 предметов; язык — английский, формат — текст. Датасет из статьи Measuring Massive Multitask Language Understanding (ICLR 2021).
Что можно сделать
- Оценка знаний языковых моделей
- Few-shot бенчмарк LLM
- Сравнение моделей по предметам
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 565,2 тыс.
- Лайков
- 886
Модели, обученные на нём
- jondurbin/bagel-dpo-34b-v0.2Генерация текста 9,1 тыс.
- mradermacher/UNA-34Beagles-32K-bf16-v1-i1-GGUF 2 тыс.
- bartowski/bagel-dpo-8x7b-v0.2-GGUFГенерация текста 1,7 тыс.
- mradermacher/UNA-34Beagles-32K-bf16-v1-GGUF 1,7 тыс.
- TheBloke/nontoxic-bagel-34b-v0.2-GGUF 903
- mradermacher/elythros-decider-1.7b-GGUFZero-shot классификация 871
- mradermacher/bagel-dpo-8x7b-v0.2-i1-GGUF 786
- mradermacher/elythros-decider-0.6b-GGUFZero-shot классификация 745
Как загрузить
from datasets import load_dataset
ds = load_dataset("cais/mmlu")