Датасет · lmms-lab-encoder
Бенчмарк POPE на галлюцинации мультимодальных моделей
lmms-lab-encoder/POPE
Отформатированная версия теста POPE (10–100 тыс. примеров) для оценки объектных галлюцинаций у VLM-моделей.
Что внутри
Датасет включает пары из изображений и текстовых вопросов объёмом от 10 до 100 тысяч записей, взятые из известной научной работы по оценке галлюцинаций. Данные специально переупакованы для запуска в пайплайне оценки lmms-eval.
Что можно сделать
- Проверка мультимодальных моделей на склонность выдумывать несуществующие на фото объекты
- Сравнение качества визуального восприятия разных VLM в фреймворке lmms-eval
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 32,6 тыс.
- Лайков
- 22
Как загрузить
from datasets import load_dataset
ds = load_dataset("lmms-lab-encoder/POPE")