Датасет · vblagoje
Новости CC-News на английском
vblagoje/cc_news
708 тыс. английских новостных статей 2017–2019 годов из Common Crawl.
Что внутри
Корпус содержит 708 241 новостную статью на английском языке, опубликованную с января 2017 по декабрь 2019 года. Данные подготовлены с помощью news-please и взяты из Common Crawl (bucket CC-NEWS). Указаны модальности image и text; это небольшая часть полного CC-News.
Что можно сделать
- Дообучить языковую модель на новостных текстах
- Проверить суммаризацию или извлечение сущностей из новостей
- Использовать для fill-mask на английском
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 5,9 тыс.
- Лайков
- 70
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("vblagoje/cc_news")