К содержимому

Датасет · Davlan

Многоязычный датасет классификации тем SIB-200

Davlan/sib200

Крупнейший открытый корпус для тематической классификации предложений из Википедии на 205 языках и диалектах.

Что внутри

Текстовый датасет объёмом от 100 тысяч до 1 миллиона примеров, построенный на базе Flores-200 и охватывающий 205 языков и диалектов. Внутри лежат предложения из Википедии, размеченные по темам (например, наука и технологии, спорт, политика), с готовым разделением на train, validation и test для каждого языка.

Что можно сделать

  • Обучение и оценка мультиязычных классификаторов текста, включая редкие и малоресурсные языки
  • Бенчмаркинг качества кросс-языкового переноса у языковых моделей и эмбеддингов
Задачи
Классификация текста
Языки
ace, acm, acq, aeb, af, ajp, ak, als и ещё 4
Размер
100K–1M записей
Скачиваний за месяц
19,2 тыс.
Лайков
25

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("Davlan/sib200")