К содержимому

Датасет · fancyzhx

Классификация текстов по 14 категориям DBpedia

fancyzhx/dbpedia_14

Крупный сбалансированный датасет из 630 тысяч англоязычных текстов для задачи многоклассовой классификации.

Что внутри

Данные собраны из онтологии DBpedia 2014 и разделены на 14 непересекающихся классов. В обучающей выборке содержится 560 тысяч примеров (по 40 тысяч на каждый класс), а в тестовой — 70 тысяч (по 5 тысяч на класс). Обе части представлены на английском языке и имеют одинаковую структуру из трёх колонок.

Что можно сделать

  • Обучение и бенчмаркинг классификаторов текста (BERT, RoBERTa и аналогичных энкодеров)
  • Проверка качества текстовых эмбеддингов на задаче тематической кластеризации
Задачи
Классификация текста
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
22,2 тыс.
Лайков
37

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("fancyzhx/dbpedia_14")