Датасет · CASIA-IVA-Lab
Бенчмарк визуального рассуждения VisReason
CASIA-IVA-Lab/VisReason
Набор из 1 505 визуальных вопросов для проверки способности мультимодальных моделей рассуждать по картинке.
Что внутри
Бенчмарк от лаборатории CASIA-IVA-Lab для оценки визуально-ориентированного логического вывода в повседневных сценариях, где восприятие тесно связано с рассуждением. Содержит 1 505 тщательно отобранных вопросов по изображениям, разделённых на 10 категорий (перцептивное, структурное и концептуальное рассуждение). Создан для проверки того, опираются ли мультимодальные LLM непосредственно на визуальные улики, а не только на текстовые абстракции.
Что можно сделать
- Оценка и сравнение мультимодальных языковых моделей (VLM) в задачах Visual Question Answering
- Выявление галлюцинаций и текстовых смещений при анализе сложных сцен
- Задачи
- Вопросы по картинкам
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 28,6 тыс.
- Лайков
- 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("CASIA-IVA-Lab/VisReason")