К содержимому

Датасет · Qdrant

Бенчмарк векторного поиска на 10 миллиардов эмбеддингов

Qdrant/FineWeb-10B

10 млрд плотных и разреженных векторов на базе FineWeb с эталонными ответами для проверки систем поиска.

Что внутри

Бенчмарк Qdrant-FineWeb-10B (Q-FineWeb-10B) включает 10 миллиардов плотных (dense) и 10 миллиардов разреженных (sparse) эмбеддингов, построенных моделью Alibaba-NLP/gte-multilingual-base по текстам FineWeb на английском языке. Также в состав входят исходные тексты с метаданными и точные эталонные результаты поиска (ground truth) для ~120 000 запросов MS MARCO.

Что можно сделать

  • Нагрузочное тестирование и бенчмаркинг векторных баз данных
  • Оценка качества гибридного (dense + sparse) поиска на сверхбольших объёмах
  • Исследование алгоритмов приближённого поиска ближайших соседей (ANN)
Языки
Английский
Размер
10B–100B записей
Скачиваний за месяц
61,4 тыс.
Лайков
28

Как загрузить

from datasets import load_dataset

ds = load_dataset("Qdrant/FineWeb-10B")