К содержимому

Датасет · Mutonix

Видеоклипы со сценарной разметкой кадров и движения камеры

Mutonix/Vript

Около 400 тыс. видеоклипов на английском с детальными описаниями сцен, планов и движения камеры.

Что внутри

Датасет состоит из 12 000 видеороликов высокого разрешения, нарезанных примерно на 400 000 клипов. Разметка выполнена в формате киносценария: помимо содержания сцены указаны тип плана (средний, крупный и т. д.) и характер движения камеры (панорамирование, наклон и другие).

Что можно сделать

  • Обучение моделей генерации видео по тексту (text-to-video) с контролем камеры
  • Тренировка видео-языковых моделей для понимания кинематографических приёмов
  • Задачи видео-вопросно-ответных систем (VQA) и классификации видео
Задачи
Классификация видео, Вопросы по картинкам, Текст → видео, Текст → картинка, Картинка → видео
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
37,3 тыс.
Лайков
27

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("Mutonix/Vript")