Датасет · lmms-lab
Мультимодальные данные LLaVA-OneVision
lmms-lab/LLaVA-OneVision-Data
Изображения и текст на английском и китайском для обучения и оценки мультимодальных моделей.
Что внутри
LLaVA-OneVision-Data — набор мультимодальных данных с изображениями и текстом; языки — английский и китайский. В карточке упоминаются подмножества VisualWebInstruct (filtered), ureader_kg и ureader_qa, загруженные в формате Hugging Face с JSON и архивами изображений. Размер — от 1 до 10 млн примеров.
Что можно сделать
- Обучение LLaVA-подобных vision-language моделей
- Дообучение LoRA для VQA
- Оценка мультимодальных ассистентов
- Языки
- Английский, Китайский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 45,3 тыс.
- Лайков
- 246
Модели, обученные на нём
- HuggingFaceTB/SmolVLM2-500M-Video-InstructКартинка + текст 1,8 млн
- llava-hf/llava-onevision-qwen2-0.5b-ov-hfКартинка + текст 188,5 тыс.
- HuggingFaceTB/SmolVLM2-2.2B-InstructКартинка + текст 67,4 тыс.
- llava-hf/llava-onevision-qwen2-7b-ov-hfКартинка + текст 49,9 тыс.
- HuggingFaceTB/SmolVLM2-256M-Video-InstructКартинка + текст 39,1 тыс.
- lmms-lab/llava-onevision-qwen2-7b-ovГенерация текста 29,2 тыс.
- lmms-lab/LLaVA-Video-7B-Qwen2Видео + текст 11 тыс.
- DAMO-NLP-SG/VideoLLaMA3-7BВидео + текст 3,6 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("lmms-lab/LLaVA-OneVision-Data")