Датасет · m-a-p
SuperGPQA: оценка LLM по 285 дисциплинам
m-a-p/SuperGPQA
Англоязычный бенчмарк SuperGPQA для оценки LLM по 285 graduate-дисциплинам.
Что внутри
SuperGPQA — текстовый бенчмарк из статьи SuperGPQA: Scaling LLM Evaluation across 285 Graduate Disciplines. Данные на английском, размер — от 10K до 100K примеров. Лицензия ODC-BY; часть контента происходит из других источников. Официальный лидерборд обещан позже.
Что можно сделать
- Оценить LLM на graduate-level вопросах
- Сравнить модели по 285 дисциплинам
- Проверить знания в узких академических областях
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 15,6 тыс.
- Лайков
- 93
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("m-a-p/SuperGPQA")