К содержимому

Датасет · wulin222

Бенчмарк MME-Unify для мультимодальных моделей

wulin222/MME-Unify

Оценочный набор из картинок и текстов на английском по 10 задачам и 30 подзадачам для тестирования U-MLLMs.

Что внутри

Фреймворк и датасет для комплексной оценки унифицированных мультимодальных языковых моделей (U-MLLMs). Внутри содержатся изображения и текстовые задания на английском языке, охватывающие 10 основных задач и 30 подзадач, включая VQA и вопросы с выбором ответа. Размер набора составляет от 1 до 10 тысяч примеров.

Что можно сделать

  • Комплексная оценка и сравнение мультимодальных моделей (U-MLLMs)
  • Тестирование моделей на задачах визуального ответа на вопросы (VQA)
Задачи
multiple choice, Вопрос-ответ, Вопросы по картинкам
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
32,7 тыс.
Лайков
3

Как загрузить

from datasets import load_dataset

ds = load_dataset("wulin222/MME-Unify")