Датасет · liuhaotian
LLaVA Pretrain: 558K пар изображение-текст
liuhaotian/LLaVA-Pretrain
Подвыборка LAION/CC/SBU с балансом концептов и синтетическими подписями BLIP для претрейна LLaVA.
Что внутри
LCS-558K — подвыборка LAION/CC/SBU, отфильтрованная для более сбалансированного покрытия концептов. К изображениям приложены подписи, в том числе синтетические подписи BLIP для справки. Набор сделан для этапа претрейна и выравнивания признаков при visual instruction tuning; язык — английский.
Что можно сделать
- Претрейн мультимодальной модели для выравнивания изображения и текста.
- Обучить проектор или LoRA для LLaVA-подобной модели.
- Проверить пайплайн visual instruction tuning.
- Языки
- Английский
- Скачиваний за месяц
- 4,7 тыс.
- Лайков
- 237
Модели, обученные на нём
- bczhou/tiny-llava-v1-hfКартинка + текст 2,5 тыс.
- xtuner/llava-internlm2-20bКартинка + текст 1,1 тыс.
- xtuner/llava-internlm2-7bКартинка + текст 1 тыс.
- kejcao/llava-phi-2-GGUFГенерация текста 310
- nc-ai-consortium/VAETKI-VL-7B-A1BКартинка + текст 251
- MILVLG/imp-v1-3bГенерация текста 208
- bczhou/TinyLLaVA-1.5BКартинка + текст 179
- DeepGlint-AI/llava-mlcd-qwen2.5-7b 138
Как загрузить
from datasets import load_dataset
ds = load_dataset("liuhaotian/LLaVA-Pretrain")