К содержимому

Датасет · cardiffnlp

Мультиязычный датасет тем постов из соцсети X (Twitter)

cardiffnlp/tweet_topic_multilingual

Твиты на четырёх языках с разметкой по 19 темам для задач многометочной классификации текстов.

Что внутри

Официальный корпус X-Topic (представленный на конференции EMNLP 2024), собранный из постов платформы X. В карточке указано 4 000 твитов — по 1 000 на английском, японском, испанском и греческом языках (в метаданных отмечен диапазон 10K–100K, вероятно, с учётом сплитов или конфигураций). Тексты размечены сразу по нескольким из 19 тематических категорий.

Что можно сделать

  • Дообучение (fine-tuning) мультиязычных языковых моделей для многометочной классификации соцсетей
  • Оценка качества кросс-языкового переноса (cross-lingual transfer) между английским, японским, испанским и греческим
  • Создание фильтров контента и систем мониторинга трендов в X
Задачи
Классификация текста
Языки
Английский, Японский, el, Испанский
Размер
10K–100K записей
Скачиваний за месяц
2,3 тыс.
Лайков
4

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("cardiffnlp/tweet_topic_multilingual")