Датасет · MineAITechnology
Данные для обучения модели эмбеддингов (EN/UR)
MineAITechnology/mine-embed-v1
Экспериментальный двуязычный корпус на английском и урду для предобучения MLM и контрастивной настройки эмбеддингов.
Что внутри
Набор данных объемом менее 1000 записей на английском и урду, использованный для создания экспериментальной модели mine-embed-v1. Состоит из двух частей: токенизированного корпуса (GPT-2 BPE) для предобучения с маскированием (MLM) и набора контрастивных триплетов (якорь, позитивный и сложный негативный примеры).
Что можно сделать
- Эксперименты с контрастивным обучением моделей эмбеддингов на паре языков английский и урду
- Тестирование пайплайнов дообучения для задач семантического поиска
- Задачи
- Эмбеддинги, Похожесть текстов
- Языки
- Английский, ur
- Размер
- до 1K записей
- Скачиваний за месяц
- 217
- Лайков
- 7
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("MineAITechnology/mine-embed-v1")