Датасет · yale-nlp
Бенчмарк экспертного понимания видео по разным дисциплинам
yale-nlp/MMVU
Набор из 1K–10K видеозаписей и вопросов для проверки мультимодальных моделей на знание узкоспециализированных тем.
Что внутри
Оценочный датасет MMVU, созданный исследователями (включая группу Yale NLP) для тестирования глубокого понимания видео в специализированных научных и профессиональных областях. Включает от 1 до 10 тысяч примеров в формате видео и текста. Авторы также опубликовали статью, лидерборд и код для проведения оценки моделей.
Что можно сделать
- Бенчмаркинг мультимодальных LLM (video-text-to-text) на сложных экспертных задачах
- Сравнение способности моделей к логическому рассуждению на основе видеоматериалов
- Задачи
- Видео + текст
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 3,2 тыс.
- Лайков
- 60
Как загрузить
from datasets import load_dataset
ds = load_dataset("yale-nlp/MMVU")