Мультимодальный бенчмарк MMMU-Pro

Что внутри

Датасет содержит задачи question-answering, visual-question-answering и multiple-choice с изображениями и текстом на английском. Это версия MMMU-Pro — более устойчивый междисциплинарный бенчмарк для мультимодальных моделей; в карточке есть ссылки на лидерборд, статью и GitHub. Размер — от 1K до 10K примеров.

Что можно сделать

• Оценивать мультимодальные LLM на междисциплинарных вопросах
• Проверять vision-language модели в multiple-choice формате
• Сравнивать модели на лидерборде MMMU-Pro

Модели, обученные на нём

• bbkdevops/Qwen-AgentWorld-ULTRAГенерация текста 1,2 тыс.

Как загрузить

from datasets import load_dataset

ds = load_dataset("MMMU/MMMU_Pro")