К содержимому

Датасет · DSULT-Core

Архив из 298 миллионов постов соцсети Bluesky

DSULT-Core/bluesky-298-million-Posts

Масштабный корпус англоязычных публикаций из микроблогов Bluesky для генерации и классификации текстов.

Что внутри

В репозитории собрано 298 миллионов постов на английском языке из социальной сети Bluesky. Автор выложил этот массив в продолжение более ранних открытых дампов платформы объёмом от 1 до 20 миллионов записей. Подробности о полях, структуре файлов и способе парсинга в описании карточки не раскрываются.

Что можно сделать

  • Предобучение (pretrain) или дообучение LLM на живой разговорной лексике соцсетей
  • Обучение классификаторов тональности, спама и тематик коротких сообщений
  • Исследование социальных графов и динамики обсуждений в открытых сетях
Задачи
Генерация текста, Классификация текста
Языки
Английский
Скачиваний за месяц
85
Лайков
49

Как загрузить

from datasets import load_dataset

ds = load_dataset("DSULT-Core/bluesky-298-million-Posts")