К содержимому

Датасет · ibm-research

Вопросы и ответы по сюжетам фильмов

ibm-research/duorc

Корпус из 100K–1M пар вопрос-ответ на английском, составленный по описаниям фильмов из Википедии и IMDb.

Что внутри

Датасет содержит вопросы и ответы на английском языке, собранные краудсорсерами Amazon Mechanical Turk на основе сюжетов фильмов из Википедии и IMDb, причём авторы могли формулировать ответы своими словами. Внутри от 100 тысяч до 1 миллиона записей, разделённых на две части: SelfRC (только по текстам Википедии) и ParaphraseRC (вопросы по Википедии, а ответы по версиям сюжетов с IMDb).

Что можно сделать

  • Обучение QA-систем пониманию длинных нарративных текстов и перефразировок
  • Оценка способности LLM находить неочевидные факты в разных версиях одного сюжета
Задачи
Вопрос-ответ
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
3,5 тыс.
Лайков
36

Как загрузить

from datasets import load_dataset

ds = load_dataset("ibm-research/duorc")