К содержимому

Датасет · THUIR

Крупный бенчмарк для ранжирования текстов на китайском

THUIR/T2Ranking

Масштабный набор данных на китайском языке для обучения и оценки моделей поиска и ранжирования пассажей.

Что внутри

Датасет представляет собой крупный бенчмарк на китайском языке для задачи ранжирования текстовых фрагментов (passage ranking) в информационном поиске. В нем от 1 до 10 миллионов примеров, которые позволяют оценивать, насколько точно система выстраивает список результатов по релевантности поисковому запросу.

Что можно сделать

  • Обучение и проверка реранкеров для поисковых систем и RAG на китайском языке
  • Оценка моделей семантической близости и классификации текстов
Задачи
Поиск по текстам, Классификация текста, Похожесть текстов
Языки
Китайский
Размер
1M–10M записей
Скачиваний за месяц
2,9 тыс.
Лайков
36

Как загрузить

from datasets import load_dataset

ds = load_dataset("THUIR/T2Ranking")