Бенчмарк парсинга документов DP-Bench

Что внутри

DP-Bench — бенчмарк для задачи document parsing: перевода сложных документов, включая PDF и сканы, в структурированный текст вроде HTML и Markdown. Он полезен как предобработчик для RAG, потому что сохраняет структуру визуально насыщенных документов. Карточка описывает его как попытку закрыть отсутствие стандартной метрики оценки парсеров.

Что можно сделать

• Оценка систем OCR и document parsing на PDF и сканах
• Проверка пайплайна предобработки документов для RAG
• Сравнение парсеров по качеству HTML и Markdown

Как загрузить

from datasets import load_dataset

ds = load_dataset("upstage/dp-bench")