К содержимому

Датасет · llamaindex

Бенчмарк извлечения данных из документов

llamaindex/ExtractBench

Документы и схемы для проверки извлечения структурированного JSON с доказательствами.

Что внутри

ExtractBench проверяет системы, которые по полному документу и пользовательской схеме возвращают структурированные данные с доказательствами. На вход подаётся born-digital или сканированный документ и схема, а на выходе ожидается валидный по схеме JSON с номером страницы и bounding box для каждого значения. Нужно возвращать полные корректные значения, включая повторяющиеся записи, ставить null при отсутствии информации и привязывать извлечённое к источнику. Язык — английский, размер — меньше 1 тыс. примеров.

Что можно сделать

  • Оценка LLM и document-AI на извлечении JSON
  • Проверка schema-guided extraction с evidence
  • Тестирование OCR-пайплайнов на сканах
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
20,2 тыс.
Лайков
74

Как загрузить

from datasets import load_dataset

ds = load_dataset("llamaindex/ExtractBench")