Датасет · sentence-transformers
Объединённый корпус NLI для обучения эмбеддингов
sentence-transformers/all-nli
Миллионы пар английских предложений с разметкой логического вывода для обучения моделей семантической близости.
Что внутри
Внутри собраны текстовые пары на английском языке — предпосылка (premise) и гипотеза (hypothesis), объединённые из известных датасетов SNLI и MultiNLI. Каждой паре присвоен один из трёх классов: логическое следование (entailment), нейтральность или противоречие. Объём корпуса составляет от 1 до 10 миллионов примеров.
Что можно сделать
- Обучение и дообучение моделей эмбеддингов для оценки семантической близости текстов
- Тренировка классификаторов для задач естественного логического вывода (NLI)
- Использование в качестве базового корпуса для поиска дубликатов и реранкинга в RAG
- Задачи
- Эмбеддинги, Похожесть текстов
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 4,4 тыс.
- Лайков
- 54
Модели, обученные на нём
- minishlab/potion-retrieval-32M 235,9 тыс.
- ethicalabs/Echo-DSRN-v0.1.3-Embed-ExpПохожесть текстов 1 тыс.
- dmedhi/PawanEmbd-68MПохожесть текстов 377
- MatterWaveAI/grt-30m-embeddingПохожесть текстов 329
- mradermacher/Starbucks_STS-GGUFЭмбеддинги 150
- lakinekaki/all-MiniLM-L6-v2-genbaisПохожесть текстов 144
- serhiiseletskyi/intelli-embed-v3Похожесть текстов 141
- tasksource/ModernBERT-base-embedПохожесть текстов 89
Как загрузить
from datasets import load_dataset
ds = load_dataset("sentence-transformers/all-nli")