К содержимому

Датасет · AmazonScience

Бенчмарк для анализа длинных документов визуальными LLM

AmazonScience/document-haystack

Мультимодальный набор от Amazon Science для проверки способности VLM искать ответы в объемных документах и изображениях.

Что внутри

Датасет создан исследователями Amazon Science к научной статье и предназначен для оценки мультимодальных больших языковых моделей в длинном контексте. Он содержит тексты, изображения и страницы документов на английском языке. Набор ориентирован на задачи извлечения ответов по документам (Document QA) и визуальным данным (VQA).

Что можно сделать

  • Бенчмаркинг мультимодальных LLM (VLM) на понимание длинных многостраничных документов
  • Оценка качества систем RAG, работающих со сканами, PDF и сложной версткой
  • Тестирование точности поиска фактов («иголки в стоге сена») в визуальном контексте
Задачи
Вопрос-ответ, Вопросы по картинкам, document question answering
Языки
Английский
Скачиваний за месяц
49 тыс.
Лайков
26

Как загрузить

from datasets import load_dataset

ds = load_dataset("AmazonScience/document-haystack")