Датасет · allenai
OpenBookQA: вопросы с открытой книгой
allenai/openbookqa
Английский QA-бенчмарк с вопросами, требующими многошагового рассуждения и общих знаний.
Что внутри
Набор вопросов на английском для проверки понимания текста и рассуждений. Вопросы требуют нескольких шагов рассуждения, использования дополнительных общих и житейских знаний, а также понимания насыщенного текста. К каждому вопросу прилагаются факты в виде «открытой книги».
Что можно сделать
- Оценить question-answering модель
- Проверить многошаговое рассуждение
- Дообучить модель на QA-парах
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 193,7 тыс.
- Лайков
- 162
Модели, обученные на нём
- jaredpalmer/kev-27bКлассификация текста 3,2 тыс.
- mradermacher/kev-27b-GGUFmultiple choice 1,8 тыс.
- mradermacher/Dolphy-1.0-i1-GGUF 803
- ReckonerLabs/Pascaline-3MГенерация текста 718
- mradermacher/Dolphy-1.0-GGUF 400
- kurcontko/Tiny-Chick-10M-V3Генерация текста 392
- littlemex/prismyra-decision-qwen3.6-35b-a3b-fp8-36lКлассификация текста 324
- littlemex/prismyra-decision-qwen3.6-35b-a3b-nvfp4-36lКлассификация текста 247
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/openbookqa")