Датасет · pixparse
Документы UCSF с OCR-разметкой
pixparse/idl-wds
Миллионы страниц документов с PDF, TIFF-изображениями и OCR-аннотациями для обучения распознаванию.
Что внутри
Датасет отфильтрован из библиотеки документов UCSF: 19 млн страниц, признанных валидными. Каждый документ включает PDF, TIFF-изображение с тем же содержимым, JSON с обширными OCR-аннотациями Textract и .ocr-файл со старой OCR-разметкой. Модальности — изображения и текст; язык в метаданных не указан.
Что можно сделать
- Обучить OCR-модель
- Дообучить vision-language модель для image-to-text
- Оценить извлечение текста из PDF
- Задачи
- Картинка → текст
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 14 тыс.
- Лайков
- 206
Модели, обученные на нём
- HuggingFaceM4/idefics2-8bКартинка + текст 5,9 тыс.
- HuggingFaceM4/idefics2-8b-chattyКартинка + текст 753
- HuggingFaceM4/idefics2-8b-baseКартинка + текст 283
- HuggingFaceM4/idefics2-8b-AWQКартинка + текст 84
- mlx-community/idefics2-8b-4bitКартинка + текст 66
- mlx-community/idefics2-8b-chatty-4bitКартинка + текст 66
- mlx-community/idefics2-8b-chatty-8bitКартинка + текст 48
- mlx-community/idefics2-8b-8bitКартинка + текст 45
Как загрузить
from datasets import load_dataset
ds = load_dataset("pixparse/idl-wds")