Датасет · openai
MMMLU: MMLU на 14 языках
openai/MMMLU
Тестовые вопросы MMLU по 57 темам, переведённые на 14 языков профессиональными переводчиками.
Что внутри
MMLU — бенчмарк общих знаний по 57 категориям: от базового уровня до права, физики, истории и информатики. Тестовый набор переведён профессиональными переводчиками на 14 языков; в метаданных указаны ar, bn, de, es, fr, hi и другие. Формат — пары вопрос-ответ.
Что можно сделать
- Оценка многоязычных LLM на общих знаниях
- Сравнение качества перевода бенчмарка
- Проверка QA-систем на вопросах уровня экзаменов
- Задачи
- Вопрос-ответ
- Языки
- Арабский, bn, Немецкий, Испанский, Французский, Хинди, Индонезийский, Итальянский и ещё 4
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 17,9 тыс.
- Лайков
- 539
Модели, обученные на нём
- GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-EN-80pct-MxMoEГенерация текста 487
- TOk-Atsuru/gpt-oss-20b-pruned-28xГенерация текста 339
- Marc432/vozmarcСинтез речи 80
- GOBA-AI-Labs/PrunedHub-Qwen3.5-35B-A3B-80pctГенерация текста 66
- cs-552-2026-nlpowerpuffs/multilingual_model 51
- GOBA-AI-Labs/PrunedHub-Qwen3-30B-A3B-JP-80pct-MxMoEГенерация текста 46
- rithesh10/ytmodelВопрос-ответ 2
- Bossmarc747/innovatehub-ai-modelМультимодальные 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("openai/MMMLU")