Датасет · OpenGVLab
Бенчмарк MVBench для понимания видео мультимодальными ИИ
OpenGVLab/MVBench
Набор из 4000 вопросов к видеороликам по 20 задачам для проверки восприятия времени и действий мультимодальными моделями.
Что внутри
Датасет от лаборатории OpenGVLab включает 4000 англоязычных вопросов с вариантами ответов (4 в таблице), охватывающих 20 типов задач на понимание динамики и временной последовательности событий в видео. Авторы сформировали набор путём преобразования статических задач в динамические с опорой на готовую разметку видеороликов. Часть роликов (320 видео из набора NTU RGB+D) из-за лицензионных ограничений нужно скачивать отдельно вручную.
Что можно сделать
- Тестирование мультимодальных языковых моделей (MLLM) на понимание действий во времени
- Оценка качества видео-VQA и классификации сложных динамических сцен
- Сравнение архитектур видеоэнкодеров на задачах, требующих анализа всей длительности ролика
- Задачи
- Вопросы по картинкам, Классификация видео
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 40,2 тыс.
- Лайков
- 48
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("OpenGVLab/MVBench")