Датасет · allenai
Бенчмарк на причинно-следственное понимание текста
allenai/ropes
Вопросы и ответы на английском для проверки умения применять правила из контекста к новым ситуациям.
Что внутри
Внутри находятся тексты с описанием причинно-следственных связей, новые ситуации на их основе и вопросы о возможных последствиях. Размер датасета составляет от 10 000 до 100 000 примеров на английском языке. Автором выступает Allen Institute for AI (allenai).
Что можно сделать
- Оценка навыков логического вывода (reasoning) у языковых моделей
- Дообучение моделей для ответов на вопросы по заданному контексту
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 3,2 тыс.
- Лайков
- 51
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/ropes")