Датасет · open-index
Полный архив постов и комментариев Reddit с 2005 по 2026 год
open-index/arctic
Огромный англоязычный корпус из 15,7 млрд записей Reddit в формате parquet для обучения и анализа текстов.
Что внутри
Архив проекта Arctic Shift включает все публичные сабреддиты с декабря 2005 по февраль 2026 года на английском языке. Внутри 15,7 миллиарда записей (12,9 млрд комментариев и 2,8 млрд постов), упакованных в 1,3 ТБ сжатых файлов parquet с разбивкой по месяцам.
Что можно сделать
- Масштабный претрейн англоязычных языковых моделей на живой диалоговой речи
- Обучение моделей классификации текстов и извлечения признаков (feature extraction)
- Исследование эволюции тем и общественных дискуссий за двадцать лет
- Задачи
- Генерация текста, Классификация текста, Эмбеддинги
- Языки
- Английский
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 43,8 тыс.
- Лайков
- 42
Как загрузить
from datasets import load_dataset
ds = load_dataset("open-index/arctic")