Датасет · UCLNLP
Состязательные вопросы для проверки понимания текста
UCLNLP/adversarial_qa
Три набора вопросов на чтение с пониманием, созданных для выявления слабых мест языковых моделей.
Что внутри
Текстовый датасет на английском языке для задач Reading Comprehension, собранный с участием нейросетей в цикле разметки (BiDAF, BERTLarge и RoBERTaLarge). Состоит из трех отдельных частей по 12 000 примеров в каждой (10 000 для обучения, 1000 для валидации и 1000 для теста). Вопросы подобраны так, чтобы запутывать базовые модели при поиске ответа в тексте.
Что можно сделать
- Проверка устойчивости моделей машинного чтения к сложным и каверзным вопросам
- Дообучение QA-систем для повышения точности извлечения ответов из текста
- Сравнение архитектур трансформеров на состязательных примерах
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 5,2 тыс.
- Лайков
- 44
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("UCLNLP/adversarial_qa")