Датасет · allenai
AI2 ARC: школьные научные вопросы
allenai/ai2_arc
7 787 научных вопросов с выбором ответа для проверки question-answering моделей.
Что внутри
Датасет содержит 7 787 настоящих школьных научных вопросов с несколькими вариантами ответа, разделённых на Challenge Set и Easy Set. Challenge Set включает вопросы, на которые ошиблись и retrieval-алгоритм, и алгоритм совместной встречаемости слов. Дополнительно включён корпус из более чем 14 млн научных предложений. Язык — английский, модальность — текст.
Что можно сделать
- Оценка QA-моделей на научных вопросах
- Дообучение LLM для multiple-choice reasoning
- Проверка retrieval-систем по корпусу научных предложений
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 568,8 тыс.
- Лайков
- 430
Модели, обученные на нём
- Weyaxi/Einstein-v6.1-Llama3-8BГенерация текста 9,1 тыс.
- jaredpalmer/kev-27bКлассификация текста 3,2 тыс.
- mradermacher/Einstein-v7-Qwen2-7B-i1-GGUF 2,2 тыс.
- mradermacher/UNA-34Beagles-32K-bf16-v1-i1-GGUF 2 тыс.
- mradermacher/Einstein-v4-7B-i1-GGUF 1,8 тыс.
- mradermacher/kev-27b-GGUFmultiple choice 1,8 тыс.
- mradermacher/Einstein-v4-7B-GGUF 1,8 тыс.
- mradermacher/Newton-7B-i1-GGUF 1,7 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/ai2_arc")