К содержимому

Датасет · shash42

Архив ежедневных новостей за 10 лет

shash42/forecast-news

Очищенный корпус из 31,8 млн новостных статей за 2016–2026 годы для систем прогнозирования.

Что внутри

В репозитории собрано 31 859 020 дедуплицированных новостных статей за период с 26 августа 2016 по 31 августа 2026 года, разбитых на 3 463 дневных раздела. Общий объём данных составляет около 158,5 ГиБ; основной формат хранения — parquet, также доступны ежедневные файлы JSONL и компактные JSON с заголовками.

Что можно сделать

  • Обучение и тестирование моделей прогнозирования событий и симуляторов будущего
  • Анализ новостных трендов и временных рядов на десятилетнем горизонте
  • Предобучение или дообучение языковых моделей на новостной лексике
Размер
10M–100M записей
Скачиваний за месяц
348,5 тыс.
Лайков
9

Как загрузить

from datasets import load_dataset

ds = load_dataset("shash42/forecast-news")