К содержимому

Датасет · AbedGarra

Свежие новости из Common Crawl после июня 2024 года

AbedGarra/ccnews2024plus

Масштабный новостной корпус (от 10 до 100 млн текстов) для предобучения и дообучения языковых моделей на актуальных событиях.

Что внутри

Внутри находятся новостные тексты из архива Common Crawl News, опубликованные после июня 2024 года. Датасет насчитывает от 10 до 100 миллионов записей и продолжает известный корпус stanford-oval/ccnews. Данные прошли строгую фильтрацию и дедупликацию по методологии, вдохновленной библиотекой datatrove.

Что можно сделать

  • Pretraining и дообучение языковых моделей на свежих фактах
  • Анализ геополитических событий и прогнозирование инцидентов
  • Обучение систем суммаризации и классификации новостей
Размер
10M–100M записей
Скачиваний за месяц
26,7 тыс.
Лайков
1

Как загрузить

from datasets import load_dataset

ds = load_dataset("AbedGarra/ccnews2024plus")