Датасет · laolao77
Бенчмарк многоходовых диалогов по нескольким картинкам
laolao77/MMDU
Набор из 110 сложных диалогов и более 1600 вопросов по сериям изображений для оценки мультимодальных моделей.
Что внутри
MMDU — это оценочный бенчмарк на английском языке, содержащий картинки и тексты (менее 1000 записей). В него входят 110 многоходовых диалогов с несколькими изображениями одновременно и более 1 600 вопросов, к каждому из которых прилагается подробный развёрнутый ответ. Датасет создан для проверки способности моделей вести связный разговор с опорой сразу на несколько визуальных источников.
Что можно сделать
- Тестирование и сравнение мультимодальных моделей (VLM) в сценариях анализа нескольких изображений сразу
- Оценка способности моделей удерживать контекст в длинных визуальных диалогах
- Задачи
- Вопросы по картинкам, Вопрос-ответ
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 871
- Лайков
- 44
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("laolao77/MMDU")