Датасет · microsoft
Поисковые вопросы Bing и ранжирование
microsoft/ms_marco
Коллекция MS MARCO для поиска: вопросы Bing, ответы, пассажи и задачи ранжирования.
Что внутри
MS MARCO — набор датасетов для глубокого обучения поиску, выпущенный после статьи 2016 года. Включает 100 тыс. реальных вопросов Bing с человеческими ответами, а также версии на 1 млн вопросов, данные для генерации, ранжирования пассажей, извлечения ключевых фраз и диалогов. Язык — английский, объём — от 1 до 10 млн примеров.
Что можно сделать
- Обучение retrieval и ранжированию
- Fine-tuning reranker для поиска
- Оценка QA-систем на вопросах Bing
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 21,7 тыс.
- Лайков
- 263
Модели, обученные на нём
- hotchpotch/japanese-reranker-xsmall-v2text ranking 26,3 тыс.
- rasyosef/splade-tinyЭмбеддинги 5,5 тыс.
- hotchpotch/japanese-reranker-small-v2text ranking 3,3 тыс.
- hotchpotch/japanese-reranker-base-v2text ranking 1,8 тыс.
- rasyosef/splade-miniЭмбеддинги 1,7 тыс.
- hotchpotch/japanese-reranker-tiny-v2text ranking 1,5 тыс.
- mradermacher/splade-mini-GGUF 486
- rasyosef/splade-smallЭмбеддинги 395
Как загрузить
from datasets import load_dataset
ds = load_dataset("microsoft/ms_marco")