К содержимому

Датасет · BeIR

Англоязычный бенчмарк для поиска текстов (BEIR)

BeIR/msmarco

Подмножество MS MARCO в формате бенчмарка BEIR из миллионов английских документов и поисковых запросов.

Что внутри

Датасет представляет собой подмножество MS MARCO из известного бенчмарка информационного поиска BEIR. Внутри от 1 до 10 миллионов записей на английском языке, разделенных на корпус документов (поля _id, title, text) и набор поисковых запросов.

Что можно сделать

  • Оценка качества моделей информационного поиска (text-retrieval) и эмбеддингов
  • Тестирование систем zero-shot классификации и реранжирования на английском языке
Задачи
Zero-shot классификация, Поиск по текстам
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
5,3 тыс.
Лайков
16

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("BeIR/msmarco")