К содержимому

Датасет · VLLMs

Бенчмарк понимания нескольких изображений для VLM

VLLMs/MIRB

Набор визуальных вопросов на английском языке для оценки способности мультимодальных моделей анализировать сразу несколько картинок.

Что внутри

Содержит от 1 до 10 тысяч примеров с изображениями (в формате JPG) и вопросами к ним (в JSON-файлах) на английском языке. Задания сгруппированы по категориям — например, поиск аналогий или анализ кода — и проверяют восприятие, знания и многошаговые рассуждения по нескольким картинкам одновременно.

Что можно сделать

  • Тестирование мультимодальных моделей (VLM) на задачах сравнения и связи нескольких изображений
  • Оценка навыков многошагового визуального рассуждения (multi-hop reasoning)
  • Сравнение качества понимания сложных визуальных контекстов между разными VLM
Задачи
Вопрос-ответ
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
1,2 тыс.
Лайков
15

Как загрузить

from datasets import load_dataset

ds = load_dataset("VLLMs/MIRB")