Датасет · TIGER-Lab
MMLU-Pro: сложный бенчмарк знаний
TIGER-Lab/MMLU-Pro
12 тыс. сложных вопросов по разным дисциплинам для строгой проверки LLM.
Что внутри
Датасет содержит 12 тыс. сложных вопросов по различным дисциплинам. Это более устойчивый и сложный набор для многозадачного понимания и бенчмаркинга LLM. Модальности — таблицы и текст, язык английский; размер — от 10 тыс. до 100 тыс. примеров.
Что можно сделать
- Оценить LLM на MMLU-Pro
- Сравнить модели в лидерборде
- Проверить reasoning после SFT
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 399,7 тыс.
- Лайков
- 601
Модели, обученные на нём
- vllm-sr/mmbert32k-intent-classifier-mergedКлассификация текста 3,4 тыс.
- mradermacher/Atomight-V2.2-0.5B-UltraThink-GGUF 683
- Merlinoz11/extGemma4-44B-GGUF 418
- mradermacher/Atomight-V2.2-UltraThink-0.5B-GGUF 416
- usermma/Atomight-V2.2-0.5B-UltraThink-GGUF-mradermacher 318
- muonai/photon-x-previewГенерация текста 232
- raghul2004/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Ternary-2bitГенерация текста 189
- muonai/photon-5Генерация текста 188
Как загрузить
from datasets import load_dataset
ds = load_dataset("TIGER-Lab/MMLU-Pro")