Датасет · shash42
Архив ежедневных новостей за 10 лет
shash42/forecast-news
Очищенный корпус из 31,8 млн новостных статей за 2016–2026 годы для систем прогнозирования.
Что внутри
В репозитории собрано 31 859 020 дедуплицированных новостных статей за период с 26 августа 2016 по 31 августа 2026 года, разбитых на 3 463 дневных раздела. Общий объём данных составляет около 158,5 ГиБ; основной формат хранения — parquet, также доступны ежедневные файлы JSONL и компактные JSON с заголовками.
Что можно сделать
- Обучение и тестирование моделей прогнозирования событий и симуляторов будущего
- Анализ новостных трендов и временных рядов на десятилетнем горизонте
- Предобучение или дообучение языковых моделей на новостной лексике
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 348,5 тыс.
- Лайков
- 9
Как загрузить
from datasets import load_dataset
ds = load_dataset("shash42/forecast-news")