К содержимому

Датасет · MCG-NJU

Инструкции для анализа длинных видео (VideoChat3)

MCG-NJU/VideoChat3-LV116k

Набор текстово-видео инструкций на английском языке для обучения моделей пониманию длинных видеороликов.

Что внутри

Это инструктивный датасет (от 1 000 до 10 000 примеров), созданный для обучения модели VideoChat3 работе с длинными временными контекстами. Данные получены с помощью пайплайна синтеза: длинные видео отбирались по визуальному качеству, смысловому содержанию и временной связности, после чего разбивались на фрагменты с текстовыми заданиями на английском языке. Датасет дополняет короткие ролики задачами, где нужные детали распределены по разным отрезкам видео.

Что можно сделать

  • SFT-дообучение мультимодальных моделей (video-text-to-text) для ответов на вопросы по длинным видео
  • Улучшение способности моделей находить разрозненные события в продолжительных роликах
Задачи
Видео + текст
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
22,2 тыс.
Лайков
15

Как загрузить

from datasets import load_dataset

ds = load_dataset("MCG-NJU/VideoChat3-LV116k")