Датасет · lmms-lab-encoder
Объединённый мультимодальный бенчмарк MMMU
lmms-lab-encoder/MMMU
Единая версия бенчмарка MMMU (10K–100K примеров) со всеми объединёнными сабсетами для оценки мультимодальных моделей.
Что внутри
Это переформатированная версия известного бенчмарка MMMU, в которой все тематические поднаборы объединены в один общий датасет. Он содержит пары изображений и текстов и подготовлен для запуска в пайплайне lmms-eval.
Что можно сделать
- Быстрая комплексная оценка мультимодальных языковых моделей (LMM) через фреймворк lmms-eval
- Сравнение визуально-текстовых моделей на академических задачах без ручной склейки сабсетов
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 22,6 тыс.
- Лайков
- 7
Как загрузить
from datasets import load_dataset
ds = load_dataset("lmms-lab-encoder/MMMU")