К содержимому

Датасет · yifanzhang114

Мультимодальный бенчмарк для оценки VLM-моделей

yifanzhang114/MME-RealWorld

Сложный тестовый набор для проверки визуального понимания и ответов на вопросы по изображениям.

Что внутри

Масштабный англоязычный бенчмарк для мультимодальных моделей, поддерживающий задачи visual-question-answering и multiple-choice. Содержит от 100 миллиардов до 1 триллиона записей (согласно метаданным) и имеет облегчённую версию lite по 50 примеров на задачу для быстрой оценки. Набор интегрирован в популярные фреймворки тестирования VLMEvalKit и Lmms-eval, а даже топовые модели вроде LLaVA-OV набирают в нём менее 55% точности.

Что можно сделать

  • Оценка качества мультимодальных моделей (VLM) на сложных визуальных задачах
  • Сравнение моделей в единой среде через VLMEvalKit и Lmms-eval
  • Быстрый бенчмаркинг при инференсе с помощью облегчённой версии lite
Задачи
multiple choice, Вопрос-ответ, Вопросы по картинкам
Языки
Английский
Размер
100B–1T записей
Скачиваний за месяц
5,3 тыс.
Лайков
27

Как загрузить

from datasets import load_dataset

ds = load_dataset("yifanzhang114/MME-RealWorld")