Датасет · 5CD-AI
Вьетнамский датасет ранжирования отрывков
5CD-AI/Vietnamese-THUIR-T2Ranking-gg-translated
Крупномасштабный вьетнамский корпус для задач поиска информации и ранжирования текстов.
Что внутри
Переведен с оригинала THUIR/T2Ranking с помощью Google Translate по аналогии с mMARCO. Содержит тексты и табличные данные на вьетнамском и китайском языках объемом от 100M до 1B примеров.
Что можно сделать
- Обучение и оценка моделей текстового поиска (Text Retrieval) на вьетнамском языке
- Сенситив-поиск и задачи SFT для поисковых систем
- Задачи
- Поиск по текстам, Похожесть текстов, Классификация текста
- Языки
- Вьетнамский, Китайский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 297
- Лайков
- 23
Как загрузить
from datasets import load_dataset
ds = load_dataset("5CD-AI/Vietnamese-THUIR-T2Ranking-gg-translated")