Датасет · AmazonScience
Бенчмарк для анализа длинных документов визуальными LLM
AmazonScience/document-haystack
Мультимодальный набор от Amazon Science для проверки способности VLM искать ответы в объемных документах и изображениях.
Что внутри
Датасет создан исследователями Amazon Science к научной статье и предназначен для оценки мультимодальных больших языковых моделей в длинном контексте. Он содержит тексты, изображения и страницы документов на английском языке. Набор ориентирован на задачи извлечения ответов по документам (Document QA) и визуальным данным (VQA).
Что можно сделать
- Бенчмаркинг мультимодальных LLM (VLM) на понимание длинных многостраничных документов
- Оценка качества систем RAG, работающих со сканами, PDF и сложной версткой
- Тестирование точности поиска фактов («иголки в стоге сена») в визуальном контексте
- Задачи
- Вопрос-ответ, Вопросы по картинкам, document question answering
- Языки
- Английский
- Скачиваний за месяц
- 49 тыс.
- Лайков
- 26
Как загрузить
from datasets import load_dataset
ds = load_dataset("AmazonScience/document-haystack")