Датасет · cardiffnlp
Мультиязычный датасет тем постов из соцсети X (Twitter)
cardiffnlp/tweet_topic_multilingual
Твиты на четырёх языках с разметкой по 19 темам для задач многометочной классификации текстов.
Что внутри
Официальный корпус X-Topic (представленный на конференции EMNLP 2024), собранный из постов платформы X. В карточке указано 4 000 твитов — по 1 000 на английском, японском, испанском и греческом языках (в метаданных отмечен диапазон 10K–100K, вероятно, с учётом сплитов или конфигураций). Тексты размечены сразу по нескольким из 19 тематических категорий.
Что можно сделать
- Дообучение (fine-tuning) мультиязычных языковых моделей для многометочной классификации соцсетей
- Оценка качества кросс-языкового переноса (cross-lingual transfer) между английским, японским, испанским и греческим
- Создание фильтров контента и систем мониторинга трендов в X
- Задачи
- Классификация текста
- Языки
- Английский, Японский, el, Испанский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 2,3 тыс.
- Лайков
- 4
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("cardiffnlp/tweet_topic_multilingual")