Бенчмарк ParseBench для парсинга документов

Что внутри

ParseBench — бенчмарк для проверки систем извлечения и разбора документов на реальных корпоративных документах. Оценка делится на пять измерений: таблицы, графики, точность содержания, семантическое форматирование и визуальная привязка. Для каждого измерения есть свои метрики; данные включают документы, изображения и текст на английском.

Что можно сделать

• Оценить OCR/parsing-систему на таблицах и графиках
• Проверить pipeline извлечения данных из документов
• Сравнить модели document understanding

Как загрузить

from datasets import load_dataset

ds = load_dataset("llamaindex/ParseBench")