К содержимому

Датасет · philippesaade

Векторные эмбеддинги сущностей и свойств Wikidata

philippesaade/Wikidata_Vectors_0.2

Десятки миллионов векторов для элементов Wikidata на 4 языках от Wikimedia, Jina AI и IBM.

Что внутри

Датасет содержит от 10 до 100 миллионов векторных представлений (эмбеддингов) для сущностей (Q...) и свойств (P...) базы знаний Wikidata, построенных на основе их текстовых описаний. Поддерживаются английский, арабский, французский и немецкий языки. Проект создан Wikimedia Deutschland совместно с Jina AI и IBM DataStax для развития публичных векторных баз знаний.

Что можно сделать

  • Построение систем семантического поиска и RAG поверх графа знаний Wikidata
  • Обучение и оценка моделей связывания сущностей (Entity Linking) в текстах
  • Извлечение признаков и кластеризация многоязычных концептов
Задачи
Эмбеддинги, Поиск по текстам, Классификация текста, Похожесть текстов
Языки
Английский, Арабский, Французский, Немецкий
Размер
10M–100M записей
Скачиваний за месяц
20,6 тыс.
Лайков
4

Как загрузить

from datasets import load_dataset

ds = load_dataset("philippesaade/Wikidata_Vectors_0.2")