К содержимому

Датасет · lmms-lab-encoder

Бенчмарк POPE на галлюцинации мультимодальных моделей

lmms-lab-encoder/POPE

Отформатированная версия теста POPE (10–100 тыс. примеров) для оценки объектных галлюцинаций у VLM-моделей.

Что внутри

Датасет включает пары из изображений и текстовых вопросов объёмом от 10 до 100 тысяч записей, взятые из известной научной работы по оценке галлюцинаций. Данные специально переупакованы для запуска в пайплайне оценки lmms-eval.

Что можно сделать

  • Проверка мультимодальных моделей на склонность выдумывать несуществующие на фото объекты
  • Сравнение качества визуального восприятия разных VLM в фреймворке lmms-eval
Размер
10K–100K записей
Скачиваний за месяц
32,6 тыс.
Лайков
22

Как загрузить

from datasets import load_dataset

ds = load_dataset("lmms-lab-encoder/POPE")