К содержимому

Датасет · idoco

Бенчмарк PopVQA для проверки знаний VLM по картинкам

idoco/PopVQA

Набор изображений и вопросов на английском языке для оценки разрыва в фактологических знаниях VLM между текстом и фото.

Что внутри

Датасет включает от 1 до 10 тысяч примеров на английском языке с изображениями популярных сущностей и фактологическими вопросами к ним. Он создан для исследования того, насколько хуже мультимодальные модели отвечают на вопросы об объекте, когда он показан на картинке, а не описан текстом.

Что можно сделать

  • Оценка фактологической точности vision-language моделей (VLM)
  • Диагностика модального разрыва (modality gap) при распознавании известных объектов
Задачи
Картинка + текст
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
60,6 тыс.
Лайков
5

Как загрузить

from datasets import load_dataset

ds = load_dataset("idoco/PopVQA")