Датасет · philippesaade
Векторные эмбеддинги сущностей и свойств Wikidata
philippesaade/Wikidata_Vectors_0.2
Десятки миллионов векторов для элементов Wikidata на 4 языках от Wikimedia, Jina AI и IBM.
Что внутри
Датасет содержит от 10 до 100 миллионов векторных представлений (эмбеддингов) для сущностей (Q...) и свойств (P...) базы знаний Wikidata, построенных на основе их текстовых описаний. Поддерживаются английский, арабский, французский и немецкий языки. Проект создан Wikimedia Deutschland совместно с Jina AI и IBM DataStax для развития публичных векторных баз знаний.
Что можно сделать
- Построение систем семантического поиска и RAG поверх графа знаний Wikidata
- Обучение и оценка моделей связывания сущностей (Entity Linking) в текстах
- Извлечение признаков и кластеризация многоязычных концептов
- Задачи
- Эмбеддинги, Поиск по текстам, Классификация текста, Похожесть текстов
- Языки
- Английский, Арабский, Французский, Немецкий
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 20,6 тыс.
- Лайков
- 4
Как загрузить
from datasets import load_dataset
ds = load_dataset("philippesaade/Wikidata_Vectors_0.2")