К содержимому

Датасет · yale-nlp

Бенчмарк экспертного понимания видео по разным дисциплинам

yale-nlp/MMVU

Набор из 1K–10K видеозаписей и вопросов для проверки мультимодальных моделей на знание узкоспециализированных тем.

Что внутри

Оценочный датасет MMVU, созданный исследователями (включая группу Yale NLP) для тестирования глубокого понимания видео в специализированных научных и профессиональных областях. Включает от 1 до 10 тысяч примеров в формате видео и текста. Авторы также опубликовали статью, лидерборд и код для проведения оценки моделей.

Что можно сделать

  • Бенчмаркинг мультимодальных LLM (video-text-to-text) на сложных экспертных задачах
  • Сравнение способности моделей к логическому рассуждению на основе видеоматериалов
Задачи
Видео + текст
Размер
1K–10K записей
Скачиваний за месяц
3,2 тыс.
Лайков
60

Как загрузить

from datasets import load_dataset

ds = load_dataset("yale-nlp/MMVU")