Датасет · Davlan
Многоязычный датасет классификации тем SIB-200
Davlan/sib200
Крупнейший открытый корпус для тематической классификации предложений из Википедии на 205 языках и диалектах.
Что внутри
Текстовый датасет объёмом от 100 тысяч до 1 миллиона примеров, построенный на базе Flores-200 и охватывающий 205 языков и диалектов. Внутри лежат предложения из Википедии, размеченные по темам (например, наука и технологии, спорт, политика), с готовым разделением на train, validation и test для каждого языка.
Что можно сделать
- Обучение и оценка мультиязычных классификаторов текста, включая редкие и малоресурсные языки
- Бенчмаркинг качества кросс-языкового переноса у языковых моделей и эмбеддингов
- Задачи
- Классификация текста
- Языки
- ace, acm, acq, aeb, af, ajp, ak, als и ещё 4
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 19,2 тыс.
- Лайков
- 25
Модели, обученные на нём
- blackmallangcow/nari-decision-4bЭмбеддинги 441
- marcyano/Groot-1-SКлассификация текста 85
- marcyano/Groot-1Классификация текста 79
- mmetamong/ko-decision-roberta-largeКлассификация текста 76
- mmetamong/ko-decision-bge-m3Классификация текста 60
- blackmallangcow/nari-decision-9bЭмбеддинги 47
- yoavipo/nativ-he-decisionmultiple choice 34
- misukisu/laya-fi-multilingual 15
Как загрузить
from datasets import load_dataset
ds = load_dataset("Davlan/sib200")