К содержимому

Датасет · HuggingFaceGECLM

Комментарии из 50 популярных сабреддитов Reddit

HuggingFaceGECLM/REDDIT_comments

Огромный корпус англоязычных комментариев с Reddit (2006–2023) для обучения языковых и диалоговых моделей.

Что внутри

Внутри собраны текстовые комментарии на английском языке из 50 отобранных сабреддитов, включая tifu и explainlikeimfive. Общий объём составляет от 100 миллионов до 1 миллиарда записей, разделённых по конкретным сообществам. Данные извлечены из архивов REDDIT PushShift за период с 2006 по январь 2023 года.

Что можно сделать

  • Предобучение (pre-training) или дообучение англоязычных языковых моделей
  • Обучение диалоговых систем и генеративных ботов на живой речи
  • Классификация текстов по тематическим сообществам
Задачи
Генерация текста
Языки
Английский
Размер
100M–1B записей
Скачиваний за месяц
13,9 тыс.
Лайков
48

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("HuggingFaceGECLM/REDDIT_comments")