Датасет · Qdrant
Бенчмарк векторного поиска на 10 миллиардов эмбеддингов
Qdrant/FineWeb-10B
10 млрд плотных и разреженных векторов на базе FineWeb с эталонными ответами для проверки систем поиска.
Что внутри
Бенчмарк Qdrant-FineWeb-10B (Q-FineWeb-10B) включает 10 миллиардов плотных (dense) и 10 миллиардов разреженных (sparse) эмбеддингов, построенных моделью Alibaba-NLP/gte-multilingual-base по текстам FineWeb на английском языке. Также в состав входят исходные тексты с метаданными и точные эталонные результаты поиска (ground truth) для ~120 000 запросов MS MARCO.
Что можно сделать
- Нагрузочное тестирование и бенчмаркинг векторных баз данных
- Оценка качества гибридного (dense + sparse) поиска на сверхбольших объёмах
- Исследование алгоритмов приближённого поиска ближайших соседей (ANN)
- Языки
- Английский
- Размер
- 10B–100B записей
- Скачиваний за месяц
- 61,4 тыс.
- Лайков
- 28
Как загрузить
from datasets import load_dataset
ds = load_dataset("Qdrant/FineWeb-10B")