К содержимому

Датасет · stanford-oval

Очищенный архив мировых новостей CommonCrawl

stanford-oval/ccnews

Огромный мультиязычный корпус из 600 миллионов новостных статей за период с 2016 по июнь 2024 года.

Что внутри

Содержит около 600 миллионов очищенных и дедуплицированных новостных заметок на более чем 100 языках со всего мира, извлечённых из WARC-файлов CCNews. В процессе обработки по аналогии с пайплайном DataTrove для каждой статьи был автоматически определён язык. В метаданных также указаны текстовая и визуальная модальности.

Что можно сделать

  • Масштабное предобучение мультиязычных языковых моделей
  • Обучение моделей классификации новостей и ответов на вопросы по фактам
  • Анализ медиатрендов и информационного фона на разных языках
Задачи
Классификация текста, Вопрос-ответ, Генерация текста
Языки
Много языков, af, am, Арабский, as, az, be, bg и ещё 4
Размер
100M–1B записей
Скачиваний за месяц
8,2 тыс.
Лайков
36

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("stanford-oval/ccnews")