Датасет · HuggingFaceGECLM
Комментарии из 50 популярных сабреддитов Reddit
HuggingFaceGECLM/REDDIT_comments
Огромный корпус англоязычных комментариев с Reddit (2006–2023) для обучения языковых и диалоговых моделей.
Что внутри
Внутри собраны текстовые комментарии на английском языке из 50 отобранных сабреддитов, включая tifu и explainlikeimfive. Общий объём составляет от 100 миллионов до 1 миллиарда записей, разделённых по конкретным сообществам. Данные извлечены из архивов REDDIT PushShift за период с 2006 по январь 2023 года.
Что можно сделать
- Предобучение (pre-training) или дообучение англоязычных языковых моделей
- Обучение диалоговых систем и генеративных ботов на живой речи
- Классификация текстов по тематическим сообществам
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 13,9 тыс.
- Лайков
- 48
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceGECLM/REDDIT_comments")