К содержимому

Датасет · textmachinelab

Вопросы с вариантами ответа для проверки понимания текста

textmachinelab/quail

15 тысяч англоязычных вопросов по коротким текстам из четырех доменов для оценки понимания прочитанного.

Что внутри

Сбалансированный датасет на английском языке содержит 15 000 вопросов с множественным выбором, размеченных по типам. Вопросы составлены к отрывкам текста длиной 300–350 токенов из четырех источников: новостей, пользовательских историй, художественной литературы и блогов.

Что можно сделать

  • Оценка навыков чтения и логического вывода языковых моделей (reading comprehension)
  • Дообучение (SFT) моделей на задачи ответа на вопросы по заданному контексту
  • Анализ ошибок LLM в зависимости от типа вопроса и жанра текста
Задачи
multiple choice
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
20,6 тыс.
Лайков
8

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("textmachinelab/quail")