К содержимому

Датасет · allenai

Датасет логического следования на основе научных тестов

allenai/scitail

Англоязычные пары утверждений из школьных экзаменов по естественным наукам и веб-текстов для NLI.

Что внутри

Корпус для проверки текстового логического следования (entailment) от института AllenAI объёмом от 100 тысяч до 1 миллиона записей на английском языке. Гипотезы сформированы из вопросов и правильных ответов научных тестов с выбором варианта. Посылки подобраны с помощью информационного поиска из большой базы веб-предложений и размечены краудсорсерами.

Что можно сделать

  • Обучение и оценка моделей определения логического следования (NLI) в научной области
  • Проверка фактической согласованности ответов языковых моделей с контекстом
  • Дообучение систем поиска ответов на естественно-научные вопросы
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
23,8 тыс.
Лайков
5

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("allenai/scitail")