Датасет · Idavidrein
Сложные научные вопросы с выбором ответа
Idavidrein/gpqa
Экспертные вопросы с выбором ответа по биологии, физике и химии для проверки сложного научного reasoning.
Что внутри
GPQA — набор вопросов с несколькими вариантами ответа, написанных и проверенных экспертами в биологии, физике и химии. Вопросы очень сложные: при ответах вне своей области эксперты показывают лишь 34% точности, даже с доступом к Google более 30 минут. Язык — английский, размер — от 1 тыс. до 10 тыс. записей; в карточке просят не публиковать примеры в открытом виде, чтобы избежать утечки в обучающие корпуса.
Что можно сделать
- Проверить LLM на бенчмарке научного reasoning
- Оценить модель в multiple-choice QA
- Искать утечки датасета в обучающих корпусах
- Задачи
- Вопрос-ответ, Генерация текста
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 99,2 тыс.
- Лайков
- 634
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- mradermacher/Qwen3-4B-Instruct-2507-20250808-233922-0-i1-GGUFГенерация текста 1,4 тыс.
- mradermacher/Qwen3-4B-Instruct-2507-20250808-233922-0-GGUFГенерация текста 697
- mradermacher/Qwen3.5-0.8B-Dark-Genius-GGUF 674
- guray16/Qwen3-4B-Instruct-2507-20250808-233922-0-i1-GGUFГенерация текста 550
- EganAI/Qwen3-4B-Instruct-2507-20250808-233922-0-Q8_0-GGUFГенерация текста 90
- DexinR/qwen2.5-math220k-ckpt15000Генерация текста 44
- pymlex/Qwen3.5-0.8B-Dark-GeniusГенерация текста 36
- fengpeisheng1/Qwen3-4B-Instruct-2507-20250808-233922-0-IQ4_NL-GGUFГенерация текста 32
Как загрузить
from datasets import load_dataset
ds = load_dataset("Idavidrein/gpqa")