Датасет · OpenGVLab
Аннотации мультимодальных инструкций для видео и фото
OpenGVLab/VideoChat2-IT
1,9 миллиона текстовых аннотаций в формате JSON для обучения моделей отвечать на вопросы по изображениям и видео.
Что внутри
Набор данных содержит 1,9 миллиона инструкций и аннотаций на английском языке в формате JSON (сами медиафайлы нужно скачивать отдельно по инструкции авторов). Часть данных по изображениям взята из корпуса M3IT и дополнительно очищена от опечаток и ошибок пунктуации.
Что можно сделать
- Обучение визуально-языковых моделей (VLM) отвечать на вопросы по фото и видео
- SFT-настройка мультимодальных ассистентов под выполнение сложных инструкций
- Задачи
- Вопросы по картинкам, Вопрос-ответ
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 622
- Лайков
- 52
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- DAMO-NLP-SG/VideoLLaMA2-7B-16FВопросы по картинкам 131
- DAMO-NLP-SG/VideoLLaMA2-7BВопросы по картинкам 93
- ermu2001/pllava-7bГенерация текста 84
- DAMO-NLP-SG/VideoLLaMA2.1-7B-16FВидео + текст 69
- ermu2001/pllava-34bГенерация текста 59
- ColorfulAI/videollamb-llava-1.5-7bВидео + текст 40
- Aliayub1995/VideoLLaMA2-7BВопросы по картинкам 33
- DAMO-NLP-SG/VideoLLaMA2-8x7B-BaseВопросы по картинкам 26
Как загрузить
from datasets import load_dataset
ds = load_dataset("OpenGVLab/VideoChat2-IT")