Skip to content
Datasets

FinePDFs

3 триллиона токенов из PDF для обучения LLM

2 min read

Команда Hugging Face выпустила крупнейший публичный текстовый корпус, собранный исключительно из PDF-документов. Внутри — около 3 триллионов токенов из 475 миллионов файлов на 1733 языках (включая 146,73 млрд токенов на русском), обработанных с помощью библиотеки datatrove из 105 дампов CommonCrawl с лета 2013 по февраль 2025 года. В отличие от привычных веб-датасетов из HTML-страниц, PDF-файлы дают более плотный и структурированный контент, а при смешивании с HTML-корпусами заметно повышают качество моделей на бенчмарках. Датасет пригодится исследователям и разработчикам для предобучения и дообучения мультиязычных и русскоязычных LLM.

Ключевые особенности

  • Огромный языковой охват: 1733 пары «язык — письменность» (по кодам ISO 639-3), из которых 66 превышают 1 млрд токенов, а русский подкорпус rus_Cyrl содержит 16,26 млн документов.
  • Умный двухступенчатый пайплайн: цифровые PDF извлекались на CPU через Docling (с квантованной в int8 моделью Docling Layout Heron), а сканы и обрезанные файлы — на GPU через RolmOCR (оптическое распознавание текста).
  • Многоуровневая очистка: авторы докачали оборванные файлы из сети, убрали колонтитулы, пустые строки таблиц, галлюцинации OCR, провели дедупликацию и анонимизировали персональные данные (PII).
  • Полезные метаданные: в версии v1.5.0 добавлены метки классификаторов (DCLM, EDU, EDU-V2, OCR-QUALITY) и языковые оценки для каждой страницы, чтобы отсеивать документы со смешанными языками.

Что можно сделать

  • Обучать и дообучать LLM: использовать rus_Cyrl или другие языковые сабсеты для претрейна и адаптации языковых моделей (не забудьте исключить сплит test из обучения).
  • Улучшать смеси данных: комбинировать FinePDFs с классическими веб-корпусами вроде FineWeb или SmolLM-3 Web для роста метрик на текстовых бенчмарках.
  • Фильтровать контент под задачи: отбирать образовательные или качественно распознанные тексты по встроенным тегам EDU и OCR-QUALITY или строить мультиязычные выборки.

Пример

from datasets import load_dataset

# Потоковая загрузка русскоязычной части без скачивания всего корпуса
ds = load_dataset("HuggingFaceFW/finepdfs", name="rus_Cyrl", split="train", streaming=True)
for sample in ds.take(3):
    print(sample["text"][:200])
ПодробнееОбщий объём: 475 019 140 документов, 2918,79 млрд токенов, 3,65 ТБ на диске.
Русский язык (rus_Cyrl): 16 259 957 документов, 146,73 млрд токенов, 193,37 ГБ.
Уменьшенных sample-версий нет, но поддерживается потоковое чтение (streaming=True) и лимиты в ParquetReader.
Лицензия: ODC-By 1.0, код воспроизведения и пайплайна открыт на GitHub.
Примеры
Discuss Telegram 957 81.1K

About the model

datasets/HuggingFaceFW/finepdfs
Author
HuggingFaceFW
Category
Datasets
Released
Posted

On NeyroLearn

Hugging Face

81.1K957

Ask AI about this model

Answered by Gemini 4 · the chat is kept only in this tab

Comments

Datasets

FineWeb2

FineWeb2
Datasets

FineWeb

FineWeb
Datasets

PersonaHub

PersonaHub