Датасет · llamaindex
Бенчмарк извлечения данных из документов
llamaindex/ExtractBench
Документы и схемы для проверки извлечения структурированного JSON с доказательствами.
Что внутри
ExtractBench проверяет системы, которые по полному документу и пользовательской схеме возвращают структурированные данные с доказательствами. На вход подаётся born-digital или сканированный документ и схема, а на выходе ожидается валидный по схеме JSON с номером страницы и bounding box для каждого значения. Нужно возвращать полные корректные значения, включая повторяющиеся записи, ставить null при отсутствии информации и привязывать извлечённое к источнику. Язык — английский, размер — меньше 1 тыс. примеров.
Что можно сделать
- Оценка LLM и document-AI на извлечении JSON
- Проверка schema-guided extraction с evidence
- Тестирование OCR-пайплайнов на сканах
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 20,2 тыс.
- Лайков
- 74
Как загрузить
from datasets import load_dataset
ds = load_dataset("llamaindex/ExtractBench")