Skip to content
Datasets

FineWeb

18,5 трлн токенов чистого английского веба

2 min read

FineWeb — это большой датасет очищенных и дедуплицированных англоязычных веб-страниц из CommonCrawl, собранный HuggingFaceFW для обучения LLM. Внутри более 18,5 трлн токенов, хотя изначально заявлялось 15 трлн. Данные обработаны пайплайном на библиотеке datatrove, оптимизированным под качество обучения языковых моделей. Модели, обученные на FineWeb, по агрегированным бенчмаркам обходят модели на C4, Dolma-v1.6, The Pile, SlimPajama и RedPajama2. Датасет пригодится тем, кто pretrain-ит английские LLM, исследует фильтрацию веб-данных или хочет воспроизвести готовый пайплайн.

Ключевые особенности

  • Более 18,5T токенов очищенных и дедуплицированных англоязычных данных CommonCrawl.
  • Все дампы CommonCrawl с 2013 года; v1.4.0 добавила шесть снапшотов с января по июнь 2025 года.
  • Открытый код обработки на datatrove — пайплайн можно полностью воспроизвести.
  • Есть ablation-модели, чекпоинты каждые 1000 шагов и результаты оценки.
  • Доступны сэмплы sample-350BT, sample-100BT и sample-10BT, а также загрузка по отдельным дампам.

Что можно сделать

  • Обучить или дообучить англоязычную LLM на полном датасете либо на одном из сэмплов.
  • Сравнить стратегии фильтрации и дедупликации на ablation-моделях и готовых бенчмарках.
  • Быстро прототипировать на sample-10BT объёмом около 10B gpt2-токенов (27,6 ГБ).
  • Стримить нужный дамп через datasets и собрать собственный пайплайн на datatrove.

Пример

from datasets import load_dataset

fw = load_dataset(
    "HuggingFaceFW/fineweb",
    name="CC-MAIN-2024-10",
    split="train",
    streaming=True,
)
for doc in fw:
    print(doc["text"][:200])
    break
ПодробнееОбъём: более 18,5T токенов, все дампы CommonCrawl с 2013 года.
Лицензия ODC-By 1.0. Сэмплы: 10BT — 27,6 ГБ, 100BT — 277,4 ГБ, 350BT — 388 ГБ.
v1.4.0 (11.07.2025) добавила CC-MAIN-2025-05…2025-26; в v1.3.0 исправлены неполные дампы и удалены домены по C&D.
Ограничения: только английский язык и веб-данные; возможны смещения и шум.
Discuss Telegram 3.7K 356.7K

About the model

datasets/HuggingFaceFW/fineweb
Author
HuggingFaceFW
Category
Datasets
Released
Posted

On NeyroLearn

Hugging Face

356.7K3.7K

Ask AI about this model

Answered by Gemini 4 · the chat is kept only in this tab

Comments

Datasets

FinePDFs

FinePDFs
Datasets

FineWeb2

FineWeb2