Датасет · Mutonix
Видеоклипы со сценарной разметкой кадров и движения камеры
Mutonix/Vript
Около 400 тыс. видеоклипов на английском с детальными описаниями сцен, планов и движения камеры.
Что внутри
Датасет состоит из 12 000 видеороликов высокого разрешения, нарезанных примерно на 400 000 клипов. Разметка выполнена в формате киносценария: помимо содержания сцены указаны тип плана (средний, крупный и т. д.) и характер движения камеры (панорамирование, наклон и другие).
Что можно сделать
- Обучение моделей генерации видео по тексту (text-to-video) с контролем камеры
- Тренировка видео-языковых моделей для понимания кинематографических приёмов
- Задачи видео-вопросно-ответных систем (VQA) и классификации видео
- Задачи
- Классификация видео, Вопросы по картинкам, Текст → видео, Текст → картинка, Картинка → видео
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 37,3 тыс.
- Лайков
- 27
Модели, обученные на нём
- HuggingFaceTB/SmolVLM2-500M-Video-InstructКартинка + текст 1,7 млн
- HuggingFaceTB/SmolVLM2-2.2B-InstructКартинка + текст 194,6 тыс.
- HuggingFaceTB/SmolVLM2-256M-Video-InstructКартинка + текст 44,7 тыс.
- HuggingFaceTB/SmolVLM2-2.2B-BaseКартинка + текст 2,4 тыс.
- mradermacher/SmolVLM2-2.2B-Instruct-i1-GGUFВидео + текст 1,1 тыс.
- mradermacher/SmolVLM2-256M-Video-Instruct-i1-GGUF 824
- mradermacher/SmolVLM2-500M-Video-Instruct-i1-GGUF 737
- mradermacher/SmolVLM2-2.2B-Instruct-GGUFВидео + текст 368
Как загрузить
from datasets import load_dataset
ds = load_dataset("Mutonix/Vript")