К содержимому
Датасеты

FinePDFs

3 триллиона токенов из PDF для обучения LLM

2 мин чтения

Команда Hugging Face выпустила крупнейший публичный текстовый корпус, собранный исключительно из PDF-документов. Внутри — около 3 триллионов токенов из 475 миллионов файлов на 1733 языках (включая 146,73 млрд токенов на русском), обработанных с помощью библиотеки datatrove из 105 дампов CommonCrawl с лета 2013 по февраль 2025 года. В отличие от привычных веб-датасетов из HTML-страниц, PDF-файлы дают более плотный и структурированный контент, а при смешивании с HTML-корпусами заметно повышают качество моделей на бенчмарках. Датасет пригодится исследователям и разработчикам для предобучения и дообучения мультиязычных и русскоязычных LLM.

Ключевые особенности

  • Огромный языковой охват: 1733 пары «язык — письменность» (по кодам ISO 639-3), из которых 66 превышают 1 млрд токенов, а русский подкорпус rus_Cyrl содержит 16,26 млн документов.
  • Умный двухступенчатый пайплайн: цифровые PDF извлекались на CPU через Docling (с квантованной в int8 моделью Docling Layout Heron), а сканы и обрезанные файлы — на GPU через RolmOCR (оптическое распознавание текста).
  • Многоуровневая очистка: авторы докачали оборванные файлы из сети, убрали колонтитулы, пустые строки таблиц, галлюцинации OCR, провели дедупликацию и анонимизировали персональные данные (PII).
  • Полезные метаданные: в версии v1.5.0 добавлены метки классификаторов (DCLM, EDU, EDU-V2, OCR-QUALITY) и языковые оценки для каждой страницы, чтобы отсеивать документы со смешанными языками.

Что можно сделать

  • Обучать и дообучать LLM: использовать rus_Cyrl или другие языковые сабсеты для претрейна и адаптации языковых моделей (не забудьте исключить сплит test из обучения).
  • Улучшать смеси данных: комбинировать FinePDFs с классическими веб-корпусами вроде FineWeb или SmolLM-3 Web для роста метрик на текстовых бенчмарках.
  • Фильтровать контент под задачи: отбирать образовательные или качественно распознанные тексты по встроенным тегам EDU и OCR-QUALITY или строить мультиязычные выборки.

Пример

from datasets import load_dataset

# Потоковая загрузка русскоязычной части без скачивания всего корпуса
ds = load_dataset("HuggingFaceFW/finepdfs", name="rus_Cyrl", split="train", streaming=True)
for sample in ds.take(3):
    print(sample["text"][:200])
ПодробнееОбщий объём: 475 019 140 документов, 2918,79 млрд токенов, 3,65 ТБ на диске.
Русский язык (rus_Cyrl): 16 259 957 документов, 146,73 млрд токенов, 193,37 ГБ.
Уменьшенных sample-версий нет, но поддерживается потоковое чтение (streaming=True) и лимиты в ParquetReader.
Лицензия: ODC-By 1.0, код воспроизведения и пайплайна открыт на GitHub.
Примеры
Обсудить Telegram 957 81,1 тыс.

О модели

datasets/HuggingFaceFW/finepdfs
Автор
HuggingFaceFW
Категория
Датасеты
Дата выхода
На сайте

На сайте

Hugging Face

81,1 тыс.957

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Датасеты

FineWeb2

FineWeb2
Датасеты

FineWeb-Edu

FineWeb-Edu
Датасеты

FineWeb

FineWeb
Датасеты

PersonaHub

PersonaHub