Датасет · VLLMs
Бенчмарк понимания нескольких изображений для VLM
VLLMs/MIRB
Набор визуальных вопросов на английском языке для оценки способности мультимодальных моделей анализировать сразу несколько картинок.
Что внутри
Содержит от 1 до 10 тысяч примеров с изображениями (в формате JPG) и вопросами к ним (в JSON-файлах) на английском языке. Задания сгруппированы по категориям — например, поиск аналогий или анализ кода — и проверяют восприятие, знания и многошаговые рассуждения по нескольким картинкам одновременно.
Что можно сделать
- Тестирование мультимодальных моделей (VLM) на задачах сравнения и связи нескольких изображений
- Оценка навыков многошагового визуального рассуждения (multi-hop reasoning)
- Сравнение качества понимания сложных визуальных контекстов между разными VLM
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 1,2 тыс.
- Лайков
- 15
Как загрузить
from datasets import load_dataset
ds = load_dataset("VLLMs/MIRB")