К содержимому

Датасет · mvp-lab

Мультимодальные данные и видео для обучения LLaVA-OneVision-2

mvp-lab/LLaVA-OneVision-2-Data

Крупный набор видеороликов, описаний и задач на пространственное мышление для тренировки мультимодальных моделей.

Что внутри

Официальный обучающий корпус на английском языке для семейства моделей LLaVA-OneVision-2, включающий текст, изображения и видео. В первой части репозитория лежат 60-секундные видеофрагменты, текстовые описания (captions) для роликов разной длительности и данные для пространственного рассуждения, используемые на этапе mid-training. Из-за большого объема данные разделены на два репозитория на Hugging Face.

Что можно сделать

  • Обучение и дообучение мультимодальных моделей (VLM) пониманию видео и изображений
  • Развитие навыков пространственного рассуждения (spatial reasoning) и визуальных ответов на вопросы (VQA)
Задачи
Видео + текст, Вопросы по картинкам, Картинка + текст
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
59,3 тыс.
Лайков
51

Как загрузить

from datasets import load_dataset

ds = load_dataset("mvp-lab/LLaVA-OneVision-2-Data")