К содержимому

Датасет · fddemarco

Архив комментариев с Reddit (Pushshift)

fddemarco/pushshift-reddit-comments

Сверхбольшой текстовый и табличный корпус комментариев пользователей Reddit для предобучения моделей.

Что внутри

Массивный дамп комментариев с платформы Reddit, содержащий от 1 до 10 миллиардов записей в текстовом и табличном форматах. Подробное описание и документация в карточке датасета отсутствуют.

Что можно сделать

  • Масштабное предобучение языковых моделей на разговорной лексике
  • Обучение диалоговых систем и моделей классификации тональности
  • Анализ тематик и трендов в социальных сетях
Размер
1B–10B записей
Скачиваний за месяц
32,2 тыс.
Лайков
43

Как загрузить

from datasets import load_dataset

ds = load_dataset("fddemarco/pushshift-reddit-comments")