Датасет · lmms-lab
Видео-вопросы и ответы для обучения видео-LLM
lmms-lab/LLaVA-Video-178K
Видео и текстовые пары для обучения и проверки моделей видео-вопрос-ответ.
Что внутри
Датасет содержит видео и текстовые данные на английском для задач visual question answering и video-text-to-text. В карточке указано 178 510 caption-записей; набор собран из пяти основных источников видео-языковых данных и использовался для обучения LLaVA-Video. Разрешён только для академических исследований и образования.
Что можно сделать
- Обучение LLaVA-Video и похожих видео-LLM
- Проверка моделей на video question answering
- Исследования video-text-to-text
- Задачи
- Вопросы по картинкам, Видео + текст
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 109,5 тыс.
- Лайков
- 214
Модели, обученные на нём
- HuggingFaceTB/SmolVLM2-500M-Video-InstructКартинка + текст 1,8 млн
- HuggingFaceTB/SmolVLM2-2.2B-InstructКартинка + текст 67,4 тыс.
- HuggingFaceTB/SmolVLM2-256M-Video-InstructКартинка + текст 39,1 тыс.
- lmms-lab/LLaVA-Video-7B-Qwen2Видео + текст 11 тыс.
- DAMO-NLP-SG/VideoLLaMA3-7BВидео + текст 3,6 тыс.
- mradermacher/SWIM-7B-i1-GGUF 2,3 тыс.
- HuggingFaceTB/SmolVLM2-2.2B-BaseКартинка + текст 1,5 тыс.
- DAMO-NLP-SG/VideoLLaMA3-2BВидео + текст 1,3 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("lmms-lab/LLaVA-Video-178K")