Датасет · stanford-oval
Очищенный архив мировых новостей CommonCrawl
stanford-oval/ccnews
Огромный мультиязычный корпус из 600 миллионов новостных статей за период с 2016 по июнь 2024 года.
Что внутри
Содержит около 600 миллионов очищенных и дедуплицированных новостных заметок на более чем 100 языках со всего мира, извлечённых из WARC-файлов CCNews. В процессе обработки по аналогии с пайплайном DataTrove для каждой статьи был автоматически определён язык. В метаданных также указаны текстовая и визуальная модальности.
Что можно сделать
- Масштабное предобучение мультиязычных языковых моделей
- Обучение моделей классификации новостей и ответов на вопросы по фактам
- Анализ медиатрендов и информационного фона на разных языках
- Задачи
- Классификация текста, Вопрос-ответ, Генерация текста
- Языки
- Много языков, af, am, Арабский, as, az, be, bg и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 8,2 тыс.
- Лайков
- 36
Модели, обученные на нём
- mradermacher/Cicikus-v3-1.4B-i1-GGUF 874
- mradermacher/Cicikus-v3-1.4B-Opus4.6-Powered-i1-GGUF 578
- mradermacher/Cicikus-v3-1.4B-GGUF 448
- mradermacher/Cicikus-v3-1.4B-Opus4.6-Powered-GGUF 157
- Kervyn-AI/Kervyn-Embeddings-100M-PreviewПохожесть текстов 79
- pthinc/Cicikus-v3-1.4BГенерация текста 27
- pthinc/Cicikus-v3-1.4B-Opus4.6-PoweredГенерация текста 23
Как загрузить
from datasets import load_dataset
ds = load_dataset("stanford-oval/ccnews")