К содержимому

Датасет · microsoft

Бенчмарк для ответов на вопросы по бизнес-документам

microsoft/SynthDocQA

Синтетические деловые PDF и почти 10 тысяч вопросов по таблицам, графикам, формам и тексту для оценки систем Document QA.

Что внутри

Внутри лежат 100 синтетических PDF-документов из разных сфер бизнеса и 9 798 вопросов к ним на английском языке. Каждый вопрос привязан к конкретному элементу страницы (таблице, графику, форме, пометке или текстовому блоку) и дополнен структурированными правилами для проверки ожидаемого ответа. Набор опубликован Microsoft как бенчмарк для систем понимания документов.

Что можно сделать

  • Оценка мультимодальных LLM и RAG-систем в задачах поиска ответов по сложным PDF
  • Тестирование моделей извлечения данных из таблиц, форм и графиков
Задачи
Вопрос-ответ, document question answering
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
2,2 тыс.
Лайков
8

Как загрузить

from datasets import load_dataset

ds = load_dataset("microsoft/SynthDocQA")