К содержимому
Датасеты

FineWeb2

20 ТБ очищенных текстов на 1000+ языках для обучения LLM

2 мин чтения

Команда Hugging Face выпустила вторую версию знаменитого датасета FineWeb, но теперь не для английского, а для всего остального мира. Внутри около 20 терабайт отфильтрованных и дедуплицированных (очищенных от дублей) текстов: 5 миллиардов документов и более 3 триллионов слов, разбитых на 1868 пар «язык + письменность». Данные собраны из 96 снимков веб-архива CommonCrawl за период с лета 2013 по апрель 2024 года с помощью библиотеки datatrove. По качеству обучения датасет превосходит популярные аналоги вроде mC4, CC-100, CulturaX и HPLT, а русский сегмент здесь вообще самый большой среди всех языков.

Ключевые особенности

  • Огромный масштаб и русский язык на первом месте: 1868 языковых поднаборов, а лидер по объёму — русский (rus_Cyrl): 699 млн документов, 588,5 млрд слов и 1,81 ТБ на диске.
  • Продуманная очистка и прозрачность: авторы прогнали данные через глобальную дедупликацию, языковые фильтры и анонимизацию персональных данных (PII).
  • Доступны даже отсеянные тексты: вместе с чистыми данными выложены сабсеты с суффиксом _removed — можно не делать дедупликацию с нуля, а просто применить свои правила фильтрации.
  • Подтверждённое качество: в серии абляционных экспериментов (проверок влияния каждого этапа очистки) модели на FineWeb2 обошли конкурентов на бенчмарке FineTasks.

Что можно сделать

  • Претрейн и дообучение LLM: обучить с нуля или продолжить претрейн мультиязычной или русскоязычной языковой модели на чистом веб-корпусе.
  • Кастомная фильтрация данных: скачать связку чистого сабсета и _removed, чтобы собрать собственную выборку под узкий домен без дорогостоящей повторной дедупликации.
  • Оценка качества моделей: использовать встроенные сплиты test (которые присутствуют у большинства языков) для валидации перплексии и генерации.

Пример

from datasets import load_dataset

# Загрузка русского поднабора в потоковом режиме
ds = load_dataset("HuggingFaceFW/fineweb-2", name="rus_Cyrl", split="train", streaming=True)
print(next(iter(ds)))
ПодробнееОбъём: ~20 ТБ на диске, 5 млрд документов, >3 трлн слов (английский остался в оригинальном FineWeb).
Топ языков: русский (1,81 ТБ), китайский (1,48 ТБ), немецкий (719 ГБ), японский (667 ГБ), испанский (594 ГБ).
Лицензия: открытая ODC-By 1.0, пайплайн обработки полностью воспроизводим на GitHub.
Примеры
Обсудить Telegram 934 160,2 тыс.

О модели

datasets/HuggingFaceFW/fineweb-2
Автор
HuggingFaceFW
Категория
Датасеты
Дата выхода
На сайте

На сайте

Hugging Face

160,2 тыс.934

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Датасеты

FinePDFs

FinePDFs
Датасеты

FineWeb-Edu

FineWeb-Edu
Датасеты

FineWeb

FineWeb
Датасеты

PersonaHub

PersonaHub