Датасет · lmms-lab
Данные для обучения мультимодальной модели LLaVA-NeXT
lmms-lab/LLaVA-NeXT-Data
Смесь изображений и инструкций для SFT-обучения мультимодальных моделей.
Что внутри
Внутри находятся изображения и тексты, которые использовались на этапе instruction tuning для моделей LLaVA-NeXT. Объем датасета составляет от 100 тысяч до 1 миллиона записей. Данные обновлены в сыром формате: архив распаковывается в JSON-файл и структурированную папку с картинками.
Что можно сделать
- SFT-дообучение мультимодальных LLM для ответов по картинкам
- Обучение систем визуального анализа и выполнения инструкций
- Сравнение качества смесей данных при тренировке VLM
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 9,5 тыс.
- Лайков
- 48
Модели, обученные на нём
- DeepGlint-AI/llava-mlcd-qwen2.5-7b 130
- rp-yu/Dimple-7BКартинка + текст 115
- ColorfulAI/OpenOmni-8B-Llama3-Omni 66
- lmms-lab/llama3-llava-next-8b-hf-sae-131k 48
- DeepGlint-AI/ViCToR-LLaVA-SigLIP2-Qwen2.5-7bКартинка + текст 21
- Inst-IT/LLaVA-Next-Inst-It-Vicuna-7BВидео + текст 20
- junha1125/gaze-attention-qwen3-4b-384-onevisionКартинка + текст 17
- Inst-IT/LLaVA-Next-Inst-It-Qwen2-7BВидео + текст 13
Как загрузить
from datasets import load_dataset
ds = load_dataset("lmms-lab/LLaVA-NeXT-Data")