Датасет · CohereLabs
Эмбеддинги Википедии на 300+ языках
CohereLabs/wikipedia-2023-11-embed-multilingual-v3
Около 250 млн эмбеддингов параграфов Википедии для семантического поиска и RAG.
Что внутри
Датасет содержит дамп Википедии от 1 ноября 2023 года на более чем 300 языках. Статьи разбиты на фрагменты и преобразованы в эмбеддинги моделью Cohere Embed V3. Всего — около 250 млн параграфов и эмбеддингов. Данные можно использовать для семантического поиска по Википедии и как источник знаний для RAG.
Что можно сделать
- Построение RAG-системы по Википедии
- Семантический поиск и кластеризация текстов
- Оценка мультиязычных эмбеддингов Cohere
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 8,6 тыс.
- Лайков
- 261
Как загрузить
from datasets import load_dataset
ds = load_dataset("CohereLabs/wikipedia-2023-11-embed-multilingual-v3")