Датасет · google
Бенчмарк от Google DeepMind для мультимодальных агентов
google/multimodal-knowledge-agent
10 демонстрационных задач от Google DeepMind для оценки ИИ-агентов в работе со сложной графикой и документами.
Что внутри
Небольшой набор (менее 1000 примеров) на английском языке, включающий изображения, документы и геопространственные данные. В каждой задаче агенту даётся рабочее пространство из нескольких файлов с ключевыми визуальными артефактами вроде архитектурных CAD-чертежей, которые нельзя решить простым OCR.
Что можно сделать
- Оценка мультимодальных ИИ-агентов на многошаговых профессиональных задачах
- Тестирование моделей в сценариях визуального анализа чертежей и документов (VQA, Document QA)
- Задачи
- Картинка + текст, Вопросы по картинкам, document question answering
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 8,4 тыс.
- Лайков
- 100
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/multimodal-knowledge-agent")