Датасет · idoco
Бенчмарк PopVQA для проверки знаний VLM по картинкам
idoco/PopVQA
Набор изображений и вопросов на английском языке для оценки разрыва в фактологических знаниях VLM между текстом и фото.
Что внутри
Датасет включает от 1 до 10 тысяч примеров на английском языке с изображениями популярных сущностей и фактологическими вопросами к ним. Он создан для исследования того, насколько хуже мультимодальные модели отвечают на вопросы об объекте, когда он показан на картинке, а не описан текстом.
Что можно сделать
- Оценка фактологической точности vision-language моделей (VLM)
- Диагностика модального разрыва (modality gap) при распознавании известных объектов
- Задачи
- Картинка + текст
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 60,6 тыс.
- Лайков
- 5
Как загрузить
from datasets import load_dataset
ds = load_dataset("idoco/PopVQA")