Датасет · microsoft
Бенчмарк для ответов на вопросы по бизнес-документам
microsoft/SynthDocQA
Синтетические деловые PDF и почти 10 тысяч вопросов по таблицам, графикам, формам и тексту для оценки систем Document QA.
Что внутри
Внутри лежат 100 синтетических PDF-документов из разных сфер бизнеса и 9 798 вопросов к ним на английском языке. Каждый вопрос привязан к конкретному элементу страницы (таблице, графику, форме, пометке или текстовому блоку) и дополнен структурированными правилами для проверки ожидаемого ответа. Набор опубликован Microsoft как бенчмарк для систем понимания документов.
Что можно сделать
- Оценка мультимодальных LLM и RAG-систем в задачах поиска ответов по сложным PDF
- Тестирование моделей извлечения данных из таблиц, форм и графиков
- Задачи
- Вопрос-ответ, document question answering
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 2,2 тыс.
- Лайков
- 8
Как загрузить
from datasets import load_dataset
ds = load_dataset("microsoft/SynthDocQA")