Датасет · fddemarco
Архив комментариев с Reddit (Pushshift)
fddemarco/pushshift-reddit-comments
Сверхбольшой текстовый и табличный корпус комментариев пользователей Reddit для предобучения моделей.
Что внутри
Массивный дамп комментариев с платформы Reddit, содержащий от 1 до 10 миллиардов записей в текстовом и табличном форматах. Подробное описание и документация в карточке датасета отсутствуют.
Что можно сделать
- Масштабное предобучение языковых моделей на разговорной лексике
- Обучение диалоговых систем и моделей классификации тональности
- Анализ тематик и трендов в социальных сетях
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 32,2 тыс.
- Лайков
- 43
Как загрузить
from datasets import load_dataset
ds = load_dataset("fddemarco/pushshift-reddit-comments")