К содержимому

Датасет · UCLNLP

Состязательные вопросы для проверки понимания текста

UCLNLP/adversarial_qa

Три набора вопросов на чтение с пониманием, созданных для выявления слабых мест языковых моделей.

Что внутри

Текстовый датасет на английском языке для задач Reading Comprehension, собранный с участием нейросетей в цикле разметки (BiDAF, BERTLarge и RoBERTaLarge). Состоит из трех отдельных частей по 12 000 примеров в каждой (10 000 для обучения, 1000 для валидации и 1000 для теста). Вопросы подобраны так, чтобы запутывать базовые модели при поиске ответа в тексте.

Что можно сделать

  • Проверка устойчивости моделей машинного чтения к сложным и каверзным вопросам
  • Дообучение QA-систем для повышения точности извлечения ответов из текста
  • Сравнение архитектур трансформеров на состязательных примерах
Задачи
Вопрос-ответ
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
5,2 тыс.
Лайков
44

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("UCLNLP/adversarial_qa")