Датасет · JBrightmanAI
Миллионы страниц PDF-документов для VLM-моделей
JBrightmanAI/pdfa-eng-wds
Огромный корпус отфильтрованных англоязычных PDF-документов с разметкой для обучения мультимодальных моделей.
Что внутри
Датасет содержит от 10 до 100 миллионов записей на английском языке, собранных из корпуса SafeDocs (CC-MAIN-2021-31-PDF-UNTRUNCATED). Данные специально отфильтрованы и подготовлены для машинного обучения, включая добавленные ограничивающие рамки (bounding boxes) на страницах документов.
Что можно сделать
- Предобучение и дообучение vision-language моделей (VLM) пониманию верстки и текста в документах
- Обучение систем детекции элементов страниц и разбора сложных PDF
- Тренировка OCR-пайплайнов на разнообразных реальных документах
- Задачи
- Картинка → текст
- Языки
- Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 55,4 тыс.
- Лайков
- 1
Как загрузить
from datasets import load_dataset
ds = load_dataset("JBrightmanAI/pdfa-eng-wds")