К содержимому

Датасет · vblagoje

Новости CC-News на английском

vblagoje/cc_news

708 тыс. английских новостных статей 2017–2019 годов из Common Crawl.

Что внутри

Корпус содержит 708 241 новостную статью на английском языке, опубликованную с января 2017 по декабрь 2019 года. Данные подготовлены с помощью news-please и взяты из Common Crawl (bucket CC-NEWS). Указаны модальности image и text; это небольшая часть полного CC-News.

Что можно сделать

  • Дообучить языковую модель на новостных текстах
  • Проверить суммаризацию или извлечение сущностей из новостей
  • Использовать для fill-mask на английском
Задачи
Генерация текста, Заполнение пропусков
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
5,9 тыс.
Лайков
70

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("vblagoje/cc_news")