Датасет · allenai
Датасет логического следования на основе научных тестов
allenai/scitail
Англоязычные пары утверждений из школьных экзаменов по естественным наукам и веб-текстов для NLI.
Что внутри
Корпус для проверки текстового логического следования (entailment) от института AllenAI объёмом от 100 тысяч до 1 миллиона записей на английском языке. Гипотезы сформированы из вопросов и правильных ответов научных тестов с выбором варианта. Посылки подобраны с помощью информационного поиска из большой базы веб-предложений и размечены краудсорсерами.
Что можно сделать
- Обучение и оценка моделей определения логического следования (NLI) в научной области
- Проверка фактической согласованности ответов языковых моделей с контекстом
- Дообучение систем поиска ответов на естественно-научные вопросы
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 23,8 тыс.
- Лайков
- 5
Модели, обученные на нём
- samratduttaofficial/WaterSheepZero-shot классификация 87
- xxparthparekhxx/openjev-flashКлассификация текста 65
- parsecai/ragzillaКлассификация текста 56
- ITLL/WaterSheepZero-shot классификация 32
- bobox/DeBERTaV3-small-SenTra-AdaptiveLayers-AllSoft-LowTempПохожесть текстов 22
- bobox/DeBERTa3-base-STr-CosineWavesПохожесть текстов 20
- anish-shrestha/qwen3.5-0.8b-decision-distill-4bmultiple choice 18
- bobox/DeBERTa-ST-AllLayers-testingПохожесть текстов 17
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/scitail")