Датасет · ksolovev
Очищенный корпус из 635 млн новостей на шести языках
ksolovev/fine-news
Масштабный мультиязычный архив новостных статей за 2016–2026 годы с фильтрацией качества и дедупликацией.
Что внутри
Корпус содержит 635 068 343 очищенных новостных документа на английском, испанском, русском, итальянском, немецком и французском языках в текстовом и табличном виде. Статьи извлечены из веб-архивов Common Crawl News за период с августа 2016 по апрель 2026 года через проект INFINI-NEWS. Каждый документ прошёл проверку языка, фильтрацию качества, удаление дубликатов и получил вес для сэмплирования.
Что можно сделать
- Предобучение (pretrain) и дообучение языковых моделей, включая русскоязычные
- Обучение систем поиска (retrieval) и классификации новостных текстов
- Задачи
- Генерация текста, Классификация текста, Поиск по текстам
- Языки
- Английский, Испанский, Русский, Итальянский, Немецкий, Французский, Турецкий, arb и ещё 4
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 466,8 тыс.
- Лайков
- 53
Как загрузить
from datasets import load_dataset
ds = load_dataset("ksolovev/fine-news")