К содержимому

Датасет · KaLM-Embedding

Мультиязычные триплеты для обучения эмбеддингов KaLM

KaLM-Embedding/KaLM-embedding-finetuning-data

От 1 до 10 млн примеров с позитивными и негативными парами на английском, китайском и других языках для дообучения моделей эмбеддингов.

Что внутри

Набор для извлечения признаков (feature-extraction) объемом от 1 до 10 миллионов записей на английском, китайском и других языках. Каждый пример предварительно обработан и содержит строку запроса (query), список релевантных ответов (pos, обычно один) и список нерелевантных примеров (neg, обычно семь).

Что можно сделать

  • Контрастивное дообучение моделей текстовых эмбеддингов
  • Улучшение качества семантического поиска и ретриверов для RAG-систем
Задачи
Эмбеддинги
Языки
Английский, Китайский
Размер
1M–10M записей
Скачиваний за месяц
558
Лайков
33

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("KaLM-Embedding/KaLM-embedding-finetuning-data")