Датасет · ibm-research
Вопросы и ответы по сюжетам фильмов
ibm-research/duorc
Корпус из 100K–1M пар вопрос-ответ на английском, составленный по описаниям фильмов из Википедии и IMDb.
Что внутри
Датасет содержит вопросы и ответы на английском языке, собранные краудсорсерами Amazon Mechanical Turk на основе сюжетов фильмов из Википедии и IMDb, причём авторы могли формулировать ответы своими словами. Внутри от 100 тысяч до 1 миллиона записей, разделённых на две части: SelfRC (только по текстам Википедии) и ParaphraseRC (вопросы по Википедии, а ответы по версиям сюжетов с IMDb).
Что можно сделать
- Обучение QA-систем пониманию длинных нарративных текстов и перефразировок
- Оценка способности LLM находить неочевидные факты в разных версиях одного сюжета
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 3,5 тыс.
- Лайков
- 36
Как загрузить
from datasets import load_dataset
ds = load_dataset("ibm-research/duorc")