К содержимому

Датасет · lmms-lab-encoder

Объединённый мультимодальный бенчмарк MMMU

lmms-lab-encoder/MMMU

Единая версия бенчмарка MMMU (10K–100K примеров) со всеми объединёнными сабсетами для оценки мультимодальных моделей.

Что внутри

Это переформатированная версия известного бенчмарка MMMU, в которой все тематические поднаборы объединены в один общий датасет. Он содержит пары изображений и текстов и подготовлен для запуска в пайплайне lmms-eval.

Что можно сделать

  • Быстрая комплексная оценка мультимодальных языковых моделей (LMM) через фреймворк lmms-eval
  • Сравнение визуально-текстовых моделей на академических задачах без ручной склейки сабсетов
Размер
10K–100K записей
Скачиваний за месяц
22,6 тыс.
Лайков
7

Как загрузить

from datasets import load_dataset

ds = load_dataset("lmms-lab-encoder/MMMU")