Датасет · sentence-transformers
Данные для обучения текстовых эмбеддингов
sentence-transformers/embedding-training-data
Наборы обучающих примеров в jsonl.gz для тренировки моделей текстовых эмбеддингов, в том числе через sentence-transformers.
Что внутри
Репозиторий содержит исходные датасеты для обучения моделей текстовых эмбеддингов. Все файлы представлены в формате jsonl.gz: каждая строка — один JSON-объект с обучающим примером. Авторы также подготовили отформатированные версии в коллекции Embedding Model Datasets и советуют сначала смотреть ��уда. Язык — английский.
Что можно сделать
- Обучение sentence-transformers модели
- Дообучение embedding-модели под поиск
- Сравнение стратегий обучения эмбеддингов
- Задачи
- Эмбеддинги
- Языки
- Английский
- Скачиваний за месяц
- 3,9 тыс.
- Лайков
- 145
Модели, обученные на нём
- KennethTM/MiniLM-L6-danish-encoderПохожесть текстов 6,7 тыс.
- doc2query/msmarco-t5-small-v1 624
- doc2query/msmarco-t5-base-v1 533
- doc2query/all-with_prefix-t5-base-v1 157
- doc2query/all-t5-base-v1 156
- Hum-Works/lodestone-base-4096-v1Похожесть текстов 147
- KennethTM/MiniLM-L6-danish-encoder-v2Похожесть текстов 84
- shreyansh26/bert-base-1024-biencoder-6M-pairsПохожесть текстов 83
Как загрузить
from datasets import load_dataset
ds = load_dataset("sentence-transformers/embedding-training-data")