Датасет · andersonbcdefg
Синтетические retrieval-задачи для эмбеддингов
andersonbcdefg/synthetic_retrieval_tasks
Промпты для генерации обучающих данных retrieval-эмбеддингов, созданные синтетически по seed-задачам.
Что внутри
Синтетические данные-промпты для генерации обучающих пар к retrieval-эмбеддингам. В колонке iteration указано, как сгенерирована порция: например, iteration 1 использует пул seed-задач и GPT-3.5-Turbo для создания новых задач; приведены примеры retrieval-запросов. Формат — text, размер 100K<n<1M; язык в метаданных не указан.
Что можно сделать
- Обучить retrieval-эмбеддинги на синтетических задачах
- Сгенерировать больше данных для embedding-модели
- Проверить генератор синтетических retrieval-задач
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 53
- Лайков
- 79
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("andersonbcdefg/synthetic_retrieval_tasks")