Skip to content
Datasets

FineWeb-Edu

1,3 трлн «учебных» токенов из веба

2 min read

Это не модель, а большой англоязычный датасет из веб-страниц CommonCrawl, отфильтрованных по образовательной ценности. Hugging Face взяли FineWeb и обучили классификатор на оценках Llama3-70B-Instruct: в корпус попали документы с оценкой не ниже 3 по шкале 0–5. На выходе — Parquet-документы, которые можно скачать целиком, по отдельным дампам или в виде сэмплов на 10BT, 100BT и 350BT токенов. Пригодится для предобучения и дообучения LLM, исследований качества данных и обучения собственных фильтров. Отличие от закрытых подборок в том, что здесь открыты и датасет, и классификатор, и код обработки.

Ключевые особенности

  • 1,3 трлн токенов образовательных англоязычных страниц; фильтрация убрала 92% исходного FineWeb.
  • Классификатор на базе Snowflake-arctic-embed обучен на 500k аннотаций Llama3-70B-Instruct и даёт F1 82% при бинарной классификации.
  • Данные в Parquet: все отфильтрованные дампы CommonCrawl с 2013 года, включая обновления до CC-MAIN-2025-26.
  • Есть версия FineWeb-Edu-score-2 на 5,4 трлн токенов с менее строгим порогом отбора.
  • Дедуплицированная версия доступна в SmolLM-Corpus; по аблациям дедупликация не повлияла на качество модели 1,8B на 350B токенов.

Что можно сделать

  • Предобучать или дообучать англоязычные LLM; для проверки подхода есть ablation-модель на 350B токенов.
  • Обучать и тестировать классификаторы образовательного качества текста на синтетических аннотациях.
  • Исследовать влияние фильтрации веб-данных на бенчмарки и качество обучения.
  • Комбинировать корпус с кодом, например The Stack v2, и отдельными курируемыми источниками вроде Википедии.

Пример

from datasets import load_dataset

fw = load_dataset(
    'HuggingFaceFW/fineweb-edu',
    name='sample-10BT',
    split='train',
    streaming=True,
)
print(next(iter(fw)))
ПодробнееFineWeb-Edu обходит FineWeb и другие открытые веб-датасеты на MMLU, ARC и OpenBookQA; порог 3 дал лучший общий результат.
Классификация 15T токенов FineWeb заняла 6k H100 GPU-часов; F1 классификатора — 82%.
Ограничения: только английский, мало кода, возможны токсичные и предвзятые фрагменты. Лицензия — ODC-By v1.0 и условия CommonCrawl.
Примеры
Discuss Telegram 1.4K 436.1K

About the model

datasets/HuggingFaceFW/fineweb-edu
Author
HuggingFaceFW
Category
Datasets
Released
Posted

On NeyroLearn

Hugging Face

436.1K1.4K

Ask AI about this model

Answered by Gemini 4 · the chat is kept only in this tab

Comments

Datasets

FineWeb

FineWeb
Datasets

FinePDFs

FinePDFs
Datasets

FineWeb2

FineWeb2