Датасет · allenai
250 тыс. PDF-страниц, распознанных в текст
allenai/olmOCR-mix-0225
PDF-страницы, переведённые OCR в plain-text с порядком чтения, для обучения и проверки OCR-пайплайнов.
Что внутри
Датасет содержит около 250 000 PDF-страниц, распознанных в plain-text в естественном порядке чтения. Для OCR использовали gpt-4o-2024-08-06 и специальный промптинг, сохраняющий born-digital контент страницы. Данные текстовые и предназначены для обучения, дообучения и оценки собственного OCR-пайплайна.
Что можно сделать
- Дообучить OCR-модель или vision-language модель для документов
- Оценить качество и порядок чтения в OCR-пайплайне
- Собрать пайплайн извлечения текста из PDF
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 694
- Лайков
- 179
Модели, обученные на нём
- allenai/olmOCR-7B-0825-FP8Картинка + текст 244 тыс.
- allenai/olmOCR-7B-0225-previewКартинка + текст 41,5 тыс.
- Inceptive/document-gate-keeper-v0.5Классификация картинок 4,3 тыс.
- mradermacher/RolmOCR-i1-GGUF 2,1 тыс.
- mradermacher/RolmOCR-GGUF 2,1 тыс.
- prithivMLmods/Gliese-OCR-7B-Post2.0-final-GGUFКартинка + текст 1,7 тыс.
- bartowski/allenai_olmOCR-7B-0225-preview-GGUFКартинка + текст 1,6 тыс.
- mradermacher/olmOCR-7B-0225-preview-i1-GGUF 1,6 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/olmOCR-mix-0225")