К содержимому

Датасет · 5CD-AI

Вьетнамский датасет ранжирования отрывков

5CD-AI/Vietnamese-THUIR-T2Ranking-gg-translated

Крупномасштабный вьетнамский корпус для задач поиска информации и ранжирования текстов.

Что внутри

Переведен с оригинала THUIR/T2Ranking с помощью Google Translate по аналогии с mMARCO. Содержит тексты и табличные данные на вьетнамском и китайском языках объемом от 100M до 1B примеров.

Что можно сделать

  • Обучение и оценка моделей текстового поиска (Text Retrieval) на вьетнамском языке
  • Сенситив-поиск и задачи SFT для поисковых систем
Задачи
Поиск по текстам, Похожесть текстов, Классификация текста
Языки
Вьетнамский, Китайский
Размер
100M–1B записей
Скачиваний за месяц
297
Лайков
23

Как загрузить

from datasets import load_dataset

ds = load_dataset("5CD-AI/Vietnamese-THUIR-T2Ranking-gg-translated")