К содержимому

Датасет · ksolovev

Очищенный корпус из 635 млн новостей на шести языках

ksolovev/fine-news

Масштабный мультиязычный архив новостных статей за 2016–2026 годы с фильтрацией качества и дедупликацией.

Что внутри

Корпус содержит 635 068 343 очищенных новостных документа на английском, испанском, русском, итальянском, немецком и французском языках в текстовом и табличном виде. Статьи извлечены из веб-архивов Common Crawl News за период с августа 2016 по апрель 2026 года через проект INFINI-NEWS. Каждый документ прошёл проверку языка, фильтрацию качества, удаление дубликатов и получил вес для сэмплирования.

Что можно сделать

  • Предобучение (pretrain) и дообучение языковых моделей, включая русскоязычные
  • Обучение систем поиска (retrieval) и классификации новостных текстов
Задачи
Генерация текста, Классификация текста, Поиск по текстам
Языки
Английский, Испанский, Русский, Итальянский, Немецкий, Французский, Турецкий, arb и ещё 4
Размер
100M–1B записей
Скачиваний за месяц
466,8 тыс.
Лайков
53

Как загрузить

from datasets import load_dataset

ds = load_dataset("ksolovev/fine-news")