Датасет · AbedGarra
Свежие новости из Common Crawl после июня 2024 года
AbedGarra/ccnews2024plus
Масштабный новостной корпус (от 10 до 100 млн текстов) для предобучения и дообучения языковых моделей на актуальных событиях.
Что внутри
Внутри находятся новостные тексты из архива Common Crawl News, опубликованные после июня 2024 года. Датасет насчитывает от 10 до 100 миллионов записей и продолжает известный корпус stanford-oval/ccnews. Данные прошли строгую фильтрацию и дедупликацию по методологии, вдохновленной библиотекой datatrove.
Что можно сделать
- Pretraining и дообучение языковых моделей на свежих фактах
- Анализ геополитических событий и прогнозирование инцидентов
- Обучение систем суммаризации и классификации новостей
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 26,7 тыс.
- Лайков
- 1
Как загрузить
from datasets import load_dataset
ds = load_dataset("AbedGarra/ccnews2024plus")