Датасет · nvidia
Данные для обучения эмбеддинг-модели NVIDIA
nvidia/embed-nemotron-dataset-v1
Мультиязычная компиляция датасетов для fine-tuning эмбеддингов под поиск, реранкинг, сходство и классификацию.
Что внутри
Это компиляция высококачественных fine-tuning-датасетов, выпущенная вместе с моделью llama-embed-nemotron-8b от NVIDIA. Модель предназначена для retrieval, reranking, семантического сходства и классификации. Датасет мультиязычный, размер — от 10 до 100 млн примеров; конкретные источники и формат в карточке не раскрыты.
Что можно сделать
- Fine-tuning эмбеддинг-модели для поиска и реранкинга
- Обучение sentence-similarity и text-classification моделей
- Дообучение llama-embed-nemotron-8b или совместимых эмбеддингов
- Задачи
- Поиск по текстам, text ranking, Похожесть текстов, Классификация текста
- Языки
- Много языков
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 781
- Лайков
- 113
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("nvidia/embed-nemotron-dataset-v1")