К содержимому

Датасет · allenai

Бенчмарк на причинно-следственное понимание текста

allenai/ropes

Вопросы и ответы на английском для проверки умения применять правила из контекста к новым ситуациям.

Что внутри

Внутри находятся тексты с описанием причинно-следственных связей, новые ситуации на их основе и вопросы о возможных последствиях. Размер датасета составляет от 10 000 до 100 000 примеров на английском языке. Автором выступает Allen Institute for AI (allenai).

Что можно сделать

  • Оценка навыков логического вывода (reasoning) у языковых моделей
  • Дообучение моделей для ответов на вопросы по заданному контексту
Задачи
Вопрос-ответ
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
3,2 тыс.
Лайков
51

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("allenai/ropes")