Датасет · DSULT-Core
Архив из 298 миллионов постов соцсети Bluesky
DSULT-Core/bluesky-298-million-Posts
Масштабный корпус англоязычных публикаций из микроблогов Bluesky для генерации и классификации текстов.
Что внутри
В репозитории собрано 298 миллионов постов на английском языке из социальной сети Bluesky. Автор выложил этот массив в продолжение более ранних открытых дампов платформы объёмом от 1 до 20 миллионов записей. Подробности о полях, структуре файлов и способе парсинга в описании карточки не раскрываются.
Что можно сделать
- Предобучение (pretrain) или дообучение LLM на живой разговорной лексике соцсетей
- Обучение классификаторов тональности, спама и тематик коротких сообщений
- Исследование социальных графов и динамики обсуждений в открытых сетях
- Задачи
- Генерация текста, Классификация текста
- Языки
- Английский
- Скачиваний за месяц
- 85
- Лайков
- 49
Как загрузить
from datasets import load_dataset
ds = load_dataset("DSULT-Core/bluesky-298-million-Posts")