К содержимому

Датасет · laolao77

Бенчмарк многоходовых диалогов по нескольким картинкам

laolao77/MMDU

Набор из 110 сложных диалогов и более 1600 вопросов по сериям изображений для оценки мультимодальных моделей.

Что внутри

MMDU — это оценочный бенчмарк на английском языке, содержащий картинки и тексты (менее 1000 записей). В него входят 110 многоходовых диалогов с несколькими изображениями одновременно и более 1 600 вопросов, к каждому из которых прилагается подробный развёрнутый ответ. Датасет создан для проверки способности моделей вести связный разговор с опорой сразу на несколько визуальных источников.

Что можно сделать

  • Тестирование и сравнение мультимодальных моделей (VLM) в сценариях анализа нескольких изображений сразу
  • Оценка способности моделей удерживать контекст в длинных визуальных диалогах
Задачи
Вопросы по картинкам, Вопрос-ответ
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
871
Лайков
44

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("laolao77/MMDU")