К содержимому

Датасет · open-index

Полный архив постов и комментариев Reddit с 2005 по 2026 год

open-index/arctic

Огромный англоязычный корпус из 15,7 млрд записей Reddit в формате parquet для обучения и анализа текстов.

Что внутри

Архив проекта Arctic Shift включает все публичные сабреддиты с декабря 2005 по февраль 2026 года на английском языке. Внутри 15,7 миллиарда записей (12,9 млрд комментариев и 2,8 млрд постов), упакованных в 1,3 ТБ сжатых файлов parquet с разбивкой по месяцам.

Что можно сделать

  • Масштабный претрейн англоязычных языковых моделей на живой диалоговой речи
  • Обучение моделей классификации текстов и извлечения признаков (feature extraction)
  • Исследование эволюции тем и общественных дискуссий за двадцать лет
Задачи
Генерация текста, Классификация текста, Эмбеддинги
Языки
Английский
Размер
1B–10B записей
Скачиваний за месяц
43,8 тыс.
Лайков
42

Как загрузить

from datasets import load_dataset

ds = load_dataset("open-index/arctic")