К содержимому

Датасет · CASIA-IVA-Lab

Бенчмарк визуального рассуждения VisReason

CASIA-IVA-Lab/VisReason

Набор из 1 505 визуальных вопросов для проверки способности мультимодальных моделей рассуждать по картинке.

Что внутри

Бенчмарк от лаборатории CASIA-IVA-Lab для оценки визуально-ориентированного логического вывода в повседневных сценариях, где восприятие тесно связано с рассуждением. Содержит 1 505 тщательно отобранных вопросов по изображениям, разделённых на 10 категорий (перцептивное, структурное и концептуальное рассуждение). Создан для проверки того, опираются ли мультимодальные LLM непосредственно на визуальные улики, а не только на текстовые абстракции.

Что можно сделать

  • Оценка и сравнение мультимодальных языковых моделей (VLM) в задачах Visual Question Answering
  • Выявление галлюцинаций и текстовых смещений при анализе сложных сцен
Задачи
Вопросы по картинкам
Размер
1K–10K записей
Скачиваний за месяц
28,6 тыс.
Лайков
0

Как загрузить

from datasets import load_dataset

ds = load_dataset("CASIA-IVA-Lab/VisReason")