К содержимому

Датасет · JBrightmanAI

Миллионы страниц PDF-документов для VLM-моделей

JBrightmanAI/pdfa-eng-wds

Огромный корпус отфильтрованных англоязычных PDF-документов с разметкой для обучения мультимодальных моделей.

Что внутри

Датасет содержит от 10 до 100 миллионов записей на английском языке, собранных из корпуса SafeDocs (CC-MAIN-2021-31-PDF-UNTRUNCATED). Данные специально отфильтрованы и подготовлены для машинного обучения, включая добавленные ограничивающие рамки (bounding boxes) на страницах документов.

Что можно сделать

  • Предобучение и дообучение vision-language моделей (VLM) пониманию верстки и текста в документах
  • Обучение систем детекции элементов страниц и разбора сложных PDF
  • Тренировка OCR-пайплайнов на разнообразных реальных документах
Задачи
Картинка → текст
Языки
Английский
Размер
10M–100M записей
Скачиваний за месяц
55,4 тыс.
Лайков
1

Как загрузить

from datasets import load_dataset

ds = load_dataset("JBrightmanAI/pdfa-eng-wds")