К содержимому

Датасет · sled-umich

Бенчмарк мультиобъектных галлюцинаций VLM

sled-umich/ROPE

Набор данных для оценки и анализа галлюцинаций визуально-языковых моделей на сложных сценах.

Что внутри

Датасет на английском языке создан на основе размеченных изображений из MSCOCO-Panoptic и ADE20K. Внутри от 10 до 100 тысяч примеров, разделённых на несколько подмножеств с привязкой к семантической сегментации объектов. Предназначен для проверки того, как модели придумывают несуществующие объекты на картинках.

Что можно сделать

  • Тестирование мультимодальных моделей (VLM) на склонность к галлюцинациям
  • Оценка качества визуального ответа на вопросы (VQA) в сценах с множеством объектов
Задачи
Вопрос-ответ, Классификация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
7,2 тыс.
Лайков
6

Как загрузить

from datasets import load_dataset

ds = load_dataset("sled-umich/ROPE")