Датасет · BeIR
Англоязычный бенчмарк для поиска текстов (BEIR)
BeIR/msmarco
Подмножество MS MARCO в формате бенчмарка BEIR из миллионов английских документов и поисковых запросов.
Что внутри
Датасет представляет собой подмножество MS MARCO из известного бенчмарка информационного поиска BEIR. Внутри от 1 до 10 миллионов записей на английском языке, разделенных на корпус документов (поля _id, title, text) и набор поисковых запросов.
Что можно сделать
- Оценка качества моделей информационного поиска (text-retrieval) и эмбеддингов
- Тестирование систем zero-shot классификации и реранжирования на английском языке
- Задачи
- Zero-shot классификация, Поиск по текстам
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 5,3 тыс.
- Лайков
- 16
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("BeIR/msmarco")