К содержимому

Датасет · OpenGVLab

Аннотации мультимодальных инструкций для видео и фото

OpenGVLab/VideoChat2-IT

1,9 миллиона текстовых аннотаций в формате JSON для обучения моделей отвечать на вопросы по изображениям и видео.

Что внутри

Набор данных содержит 1,9 миллиона инструкций и аннотаций на английском языке в формате JSON (сами медиафайлы нужно скачивать отдельно по инструкции авторов). Часть данных по изображениям взята из корпуса M3IT и дополнительно очищена от опечаток и ошибок пунктуации.

Что можно сделать

  • Обучение визуально-языковых моделей (VLM) отвечать на вопросы по фото и видео
  • SFT-настройка мультимодальных ассистентов под выполнение сложных инструкций
Задачи
Вопросы по картинкам, Вопрос-ответ
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
622
Лайков
52
Доступ
по запросу на Hugging Face

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("OpenGVLab/VideoChat2-IT")