Датасет · MCG-NJU
Инструкции для анализа длинных видео (VideoChat3)
MCG-NJU/VideoChat3-LV116k
Набор текстово-видео инструкций на английском языке для обучения моделей пониманию длинных видеороликов.
Что внутри
Это инструктивный датасет (от 1 000 до 10 000 примеров), созданный для обучения модели VideoChat3 работе с длинными временными контекстами. Данные получены с помощью пайплайна синтеза: длинные видео отбирались по визуальному качеству, смысловому содержанию и временной связности, после чего разбивались на фрагменты с текстовыми заданиями на английском языке. Датасет дополняет короткие ролики задачами, где нужные детали распределены по разным отрезкам видео.
Что можно сделать
- SFT-дообучение мультимодальных моделей (video-text-to-text) для ответов на вопросы по длинным видео
- Улучшение способности моделей находить разрозненные события в продолжительных роликах
- Задачи
- Видео + текст
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 22,2 тыс.
- Лайков
- 15
Как загрузить
from datasets import load_dataset
ds = load_dataset("MCG-NJU/VideoChat3-LV116k")