Датасет · textmachinelab
Вопросы с вариантами ответа для проверки понимания текста
textmachinelab/quail
15 тысяч англоязычных вопросов по коротким текстам из четырех доменов для оценки понимания прочитанного.
Что внутри
Сбалансированный датасет на английском языке содержит 15 000 вопросов с множественным выбором, размеченных по типам. Вопросы составлены к отрывкам текста длиной 300–350 токенов из четырех источников: новостей, пользовательских историй, художественной литературы и блогов.
Что можно сделать
- Оценка навыков чтения и логического вывода языковых моделей (reading comprehension)
- Дообучение (SFT) моделей на задачи ответа на вопросы по заданному контексту
- Анализ ошибок LLM в зависимости от типа вопроса и жанра текста
- Задачи
- multiple choice
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 20,6 тыс.
- Лайков
- 8
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("textmachinelab/quail")