К содержимому

Датасет · MineAITechnology

Данные для обучения модели эмбеддингов (EN/UR)

MineAITechnology/mine-embed-v1

Экспериментальный двуязычный корпус на английском и урду для предобучения MLM и контрастивной настройки эмбеддингов.

Что внутри

Набор данных объемом менее 1000 записей на английском и урду, использованный для создания экспериментальной модели mine-embed-v1. Состоит из двух частей: токенизированного корпуса (GPT-2 BPE) для предобучения с маскированием (MLM) и набора контрастивных триплетов (якорь, позитивный и сложный негативный примеры).

Что можно сделать

  • Эксперименты с контрастивным обучением моделей эмбеддингов на паре языков английский и урду
  • Тестирование пайплайнов дообучения для задач семантического поиска
Задачи
Эмбеддинги, Похожесть текстов
Языки
Английский, ur
Размер
до 1K записей
Скачиваний за месяц
217
Лайков
7

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("MineAITechnology/mine-embed-v1")