К содержимому

Датасет · sentence-transformers

Объединённый корпус NLI для обучения эмбеддингов

sentence-transformers/all-nli

Миллионы пар английских предложений с разметкой логического вывода для обучения моделей семантической близости.

Что внутри

Внутри собраны текстовые пары на английском языке — предпосылка (premise) и гипотеза (hypothesis), объединённые из известных датасетов SNLI и MultiNLI. Каждой паре присвоен один из трёх классов: логическое следование (entailment), нейтральность или противоречие. Объём корпуса составляет от 1 до 10 миллионов примеров.

Что можно сделать

  • Обучение и дообучение моделей эмбеддингов для оценки семантической близости текстов
  • Тренировка классификаторов для задач естественного логического вывода (NLI)
  • Использование в качестве базового корпуса для поиска дубликатов и реранкинга в RAG
Задачи
Эмбеддинги, Похожесть текстов
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
4,4 тыс.
Лайков
54

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("sentence-transformers/all-nli")