Датасет · sled-umich
Бенчмарк мультиобъектных галлюцинаций VLM
sled-umich/ROPE
Набор данных для оценки и анализа галлюцинаций визуально-языковых моделей на сложных сценах.
Что внутри
Датасет на английском языке создан на основе размеченных изображений из MSCOCO-Panoptic и ADE20K. Внутри от 10 до 100 тысяч примеров, разделённых на несколько подмножеств с привязкой к семантической сегментации объектов. Предназначен для проверки того, как модели придумывают несуществующие объекты на картинках.
Что можно сделать
- Тестирование мультимодальных моделей (VLM) на склонность к галлюцинациям
- Оценка качества визуального ответа на вопросы (VQA) в сценах с множеством объектов
- Задачи
- Вопрос-ответ, Классификация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 7,2 тыс.
- Лайков
- 6
Как загрузить
from datasets import load_dataset
ds = load_dataset("sled-umich/ROPE")