Датасет · ShareGPTVideo
Кадры видео и инструкции для мультимодальных моделей
ShareGPTVideo/train_video_and_instruction
Набор из 900 тысяч видеокадров с вопросами и инструкциями на английском для предобучения и SFT видео-языковых моделей.
Что внутри
В датасете собрано 900 тысяч кадров из видео на английском языке, разбитых на две части. Первая часть на 300 тысяч кадров (из ActivityNet, Vidal и WebVid) предназначена для SFT и DPO, а оставшиеся 600 тысяч кадров дополняют набор для этапа предобучения. Данные структурированы под задачи видео-вопрос-ответ (video QA).
Что можно сделать
- SFT и DPO дообучение мультимодальных моделей (video-text-to-text) понимать содержание видео
- Предобучение систем визуально-языкового анализа видеопотока
- Задачи
- Вопрос-ответ, Видео + текст
- Языки
- Английский
- Скачиваний за месяц
- 3,1 тыс.
- Лайков
- 35
Как загрузить
from datasets import load_dataset
ds = load_dataset("ShareGPTVideo/train_video_and_instruction")