К содержимому

Датасет · ShareGPTVideo

Кадры видео и инструкции для мультимодальных моделей

ShareGPTVideo/train_video_and_instruction

Набор из 900 тысяч видеокадров с вопросами и инструкциями на английском для предобучения и SFT видео-языковых моделей.

Что внутри

В датасете собрано 900 тысяч кадров из видео на английском языке, разбитых на две части. Первая часть на 300 тысяч кадров (из ActivityNet, Vidal и WebVid) предназначена для SFT и DPO, а оставшиеся 600 тысяч кадров дополняют набор для этапа предобучения. Данные структурированы под задачи видео-вопрос-ответ (video QA).

Что можно сделать

  • SFT и DPO дообучение мультимодальных моделей (video-text-to-text) понимать содержание видео
  • Предобучение систем визуально-языкового анализа видеопотока
Задачи
Вопрос-ответ, Видео + текст
Языки
Английский
Скачиваний за месяц
3,1 тыс.
Лайков
35

Как загрузить

from datasets import load_dataset

ds = load_dataset("ShareGPTVideo/train_video_and_instruction")