Датасет · yifanzhang114
Мультимодальный бенчмарк для оценки VLM-моделей
yifanzhang114/MME-RealWorld
Сложный тестовый набор для проверки визуального понимания и ответов на вопросы по изображениям.
Что внутри
Масштабный англоязычный бенчмарк для мультимодальных моделей, поддерживающий задачи visual-question-answering и multiple-choice. Содержит от 100 миллиардов до 1 триллиона записей (согласно метаданным) и имеет облегчённую версию lite по 50 примеров на задачу для быстрой оценки. Набор интегрирован в популярные фреймворки тестирования VLMEvalKit и Lmms-eval, а даже топовые модели вроде LLaVA-OV набирают в нём менее 55% точности.
Что можно сделать
- Оценка качества мультимодальных моделей (VLM) на сложных визуальных задачах
- Сравнение моделей в единой среде через VLMEvalKit и Lmms-eval
- Быстрый бенчмаркинг при инференсе с помощью облегчённой версии lite
- Задачи
- multiple choice, Вопрос-ответ, Вопросы по картинкам
- Языки
- Английский
- Размер
- 100B–1T записей
- Скачиваний за месяц
- 5,3 тыс.
- Лайков
- 27
Как загрузить
from datasets import load_dataset
ds = load_dataset("yifanzhang114/MME-RealWorld")