Датасет · mvp-lab
Мультимодальные данные и видео для обучения LLaVA-OneVision-2
mvp-lab/LLaVA-OneVision-2-Data
Крупный набор видеороликов, описаний и задач на пространственное мышление для тренировки мультимодальных моделей.
Что внутри
Официальный обучающий корпус на английском языке для семейства моделей LLaVA-OneVision-2, включающий текст, изображения и видео. В первой части репозитория лежат 60-секундные видеофрагменты, текстовые описания (captions) для роликов разной длительности и данные для пространственного рассуждения, используемые на этапе mid-training. Из-за большого объема данные разделены на два репозитория на Hugging Face.
Что можно сделать
- Обучение и дообучение мультимодальных моделей (VLM) пониманию видео и изображений
- Развитие навыков пространственного рассуждения (spatial reasoning) и визуальных ответов на вопросы (VQA)
- Задачи
- Видео + текст, Вопросы по картинкам, Картинка + текст
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 59,3 тыс.
- Лайков
- 51
Как загрузить
from datasets import load_dataset
ds = load_dataset("mvp-lab/LLaVA-OneVision-2-Data")