Датасет · openalphalab
Мультиязычные новостные тексты из GDELT
openalphalab/gdelt-news
Корпус новостных статей на разных языках, восстановленных из GDELT, для поиска, генерации и классификации текстов.
Что внутри
Внутри собраны мультиязычные новостные тексты, реконструированные из базы GDELT Web News NGrams 3.0 (типы 1 и 2). Данные хранятся в формате parquet со сжатием Zstandard и дополнены датами, языком, ссылками на источники и служебными метаданными. Информация об авторах, издателях и странах отсутствует.
Что можно сделать
- Обучение и дообучение моделей для классификации или генерации новостей
- Построение систем информационного поиска (text-retrieval) по новостным архивам
- Анализ мультиязычных новостных потоков и трендов во времени
- Задачи
- Поиск по текстам, Генерация текста, Классификация текста
- Скачиваний за месяц
- 35,8 тыс.
- Лайков
- 1
Как загрузить
from datasets import load_dataset
ds = load_dataset("openalphalab/gdelt-news")