К содержимому

Датасет · OpenGVLab

Бенчмарк MVBench для понимания видео мультимодальными ИИ

OpenGVLab/MVBench

Набор из 4000 вопросов к видеороликам по 20 задачам для проверки восприятия времени и действий мультимодальными моделями.

Что внутри

Датасет от лаборатории OpenGVLab включает 4000 англоязычных вопросов с вариантами ответов (4 в таблице), охватывающих 20 типов задач на понимание динамики и временной последовательности событий в видео. Авторы сформировали набор путём преобразования статических задач в динамические с опорой на готовую разметку видеороликов. Часть роликов (320 видео из набора NTU RGB+D) из-за лицензионных ограничений нужно скачивать отдельно вручную.

Что можно сделать

  • Тестирование мультимодальных языковых моделей (MLLM) на понимание действий во времени
  • Оценка качества видео-VQA и классификации сложных динамических сцен
  • Сравнение архитектур видеоэнкодеров на задачах, требующих анализа всей длительности ролика
Задачи
Вопросы по картинкам, Классификация видео
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
40,2 тыс.
Лайков
48

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("OpenGVLab/MVBench")