FinePDFs
3 триллиона токенов из PDF для обучения LLM
2 min read
Команда Hugging Face выпустила крупнейший публичный текстовый корпус, собранный исключительно из PDF-документов. Внутри — около 3 триллионов токенов из 475 миллионов файлов на 1733 языках (включая 146,73 млрд токенов на русском), обработанных с помощью библиотеки datatrove из 105 дампов CommonCrawl с лета 2013 по февраль 2025 года. В отличие от привычных веб-датасетов из HTML-страниц, PDF-файлы дают более плотный и структурированный контент, а при смешивании с HTML-корпусами заметно повышают качество моделей на бенчмарках. Датасет пригодится исследователям и разработчикам для предобучения и дообучения мультиязычных и русскоязычных LLM.
Ключевые особенности
- Огромный языковой охват: 1733 пары «язык — письменность» (по кодам ISO 639-3), из которых 66 превышают 1 млрд токенов, а русский подкорпус
rus_Cyrlсодержит 16,26 млн документов. - Умный двухступенчатый пайплайн: цифровые PDF извлекались на CPU через Docling (с квантованной в int8 моделью Docling Layout Heron), а сканы и обрезанные файлы — на GPU через RolmOCR (оптическое распознавание текста).
- Многоуровневая очистка: авторы докачали оборванные файлы из сети, убрали колонтитулы, пустые строки таблиц, галлюцинации OCR, провели дедупликацию и анонимизировали персональные данные (PII).
- Полезные метаданные: в версии v1.5.0 добавлены метки классификаторов (DCLM, EDU, EDU-V2, OCR-QUALITY) и языковые оценки для каждой страницы, чтобы отсеивать документы со смешанными языками.
Что можно сделать
- Обучать и дообучать LLM: использовать
rus_Cyrlили другие языковые сабсеты для претрейна и адаптации языковых моделей (не забудьте исключить сплитtestиз обучения). - Улучшать смеси данных: комбинировать FinePDFs с классическими веб-корпусами вроде FineWeb или SmolLM-3 Web для роста метрик на текстовых бенчмарках.
- Фильтровать контент под задачи: отбирать образовательные или качественно распознанные тексты по встроенным тегам
EDUиOCR-QUALITYили строить мультиязычные выборки.
Пример
from datasets import load_dataset
# Потоковая загрузка русскоязычной части без скачивания всего корпуса
ds = load_dataset("HuggingFaceFW/finepdfs", name="rus_Cyrl", split="train", streaming=True)
for sample in ds.take(3):
print(sample["text"][:200])
Подробнее
Общий объём: 475 019 140 документов, 2918,79 млрд токенов, 3,65 ТБ на диске.Русский язык (rus_Cyrl): 16 259 957 документов, 146,73 млрд токенов, 193,37 ГБ.
Уменьшенных sample-версий нет, но поддерживается потоковое чтение (streaming=True) и лимиты в ParquetReader.
Лицензия: ODC-By 1.0, код воспроизведения и пайплайна открыт на GitHub.








Comments