Датасет · wulin222
Бенчмарк MME-Unify для мультимодальных моделей
wulin222/MME-Unify
Оценочный набор из картинок и текстов на английском по 10 задачам и 30 подзадачам для тестирования U-MLLMs.
Что внутри
Фреймворк и датасет для комплексной оценки унифицированных мультимодальных языковых моделей (U-MLLMs). Внутри содержатся изображения и текстовые задания на английском языке, охватывающие 10 основных задач и 30 подзадач, включая VQA и вопросы с выбором ответа. Размер набора составляет от 1 до 10 тысяч примеров.
Что можно сделать
- Комплексная оценка и сравнение мультимодальных моделей (U-MLLMs)
- Тестирование моделей на задачах визуального ответа на вопросы (VQA)
- Задачи
- multiple choice, Вопрос-ответ, Вопросы по картинкам
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 32,7 тыс.
- Лайков
- 3
Как загрузить
from datasets import load_dataset
ds = load_dataset("wulin222/MME-Unify")