К содержимому

Датасет · HuggingFaceGECLM

Архив постов из 50 популярных сабреддитов

HuggingFaceGECLM/REDDIT_submissions

Десятки миллионов постов с Reddit за 2006–2023 годы, разбитых по тематическим сообществам для обучения языковых моделей.

Что внутри

Массивный текстовый корпус на английском языке объемом от 10 до 100 миллионов записей, извлеченный из дампов PushShift за период с 2006 по январь 2023 года. Данные включают публикации из 50 отобранных сабреддитов, таких как tifu и explainlikeimfive. Каждый сплит в датасете соответствует отдельному сообществу.

Что можно сделать

  • Предобучение и дообучение языковых моделей на живой разговорной речи
  • Обучение диалоговых систем и генераторов текстов под конкретную тематику или стиль
Задачи
Генерация текста
Языки
Английский
Размер
10M–100M записей
Скачиваний за месяц
3,2 тыс.
Лайков
15

Как загрузить

from datasets import load_dataset

ds = load_dataset("HuggingFaceGECLM/REDDIT_submissions")