К содержимому

Датасет · openalphalab

Мультиязычные новостные тексты из GDELT

openalphalab/gdelt-news

Корпус новостных статей на разных языках, восстановленных из GDELT, для поиска, генерации и классификации текстов.

Что внутри

Внутри собраны мультиязычные новостные тексты, реконструированные из базы GDELT Web News NGrams 3.0 (типы 1 и 2). Данные хранятся в формате parquet со сжатием Zstandard и дополнены датами, языком, ссылками на источники и служебными метаданными. Информация об авторах, издателях и странах отсутствует.

Что можно сделать

  • Обучение и дообучение моделей для классификации или генерации новостей
  • Построение систем информационного поиска (text-retrieval) по новостным архивам
  • Анализ мультиязычных новостных потоков и трендов во времени
Задачи
Поиск по текстам, Генерация текста, Классификация текста
Скачиваний за месяц
35,8 тыс.
Лайков
1

Как загрузить

from datasets import load_dataset

ds = load_dataset("openalphalab/gdelt-news")