Датасет · liuhaotian
Мультимодальные инструкции на 150 тыс. примеров
liuhaotian/LLaVA-Instruct-150K
150 тыс. пар изображение–инструкция от GPT-4 для визуального instruction tuning и VQA.
Что внутри
Набор мультимодальных инструкций для обучения моделей следовать визуальным командам; данные сгенерированы через API GPT-4-0314 в апреле 2023 года. Содержит около 150 тыс. примеров на английском, размер — от 100 тыс. до 1 млн записей. Предназначен для visual instruction tuning и развития возможностей больших мультимодальных моделей в духе GPT-4 vision/language.
Что можно сделать
- Дообучить LLaVA-подобную VLM
- Провести SFT для visual question answering
- Оценить следование визуальным инструкциям
- Задачи
- Вопросы по картинкам, Вопрос-ответ
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 5,8 тыс.
- Лайков
- 649
Модели, обученные на нём
- llava-hf/llava-1.5-7b-hfКартинка + текст 651,7 тыс.
- openbmb/MiniCPM-V-2Вопросы по картинкам 14,6 тыс.
- mlx-community/llava-1.5-7b-4bitКартинка + текст 7,1 тыс.
- TheBloke/CausalLM-7B-GGUFГенерация текста 6,7 тыс.
- TheBloke/CausalLM-14B-GGUFГенерация текста 4,5 тыс.
- tastypear/CausalLM-14B-DPO-alpha-GGUFГенерация текста 3,6 тыс.
- mradermacher/Mixtral-instruct-56B-i1-GGUF 2,9 тыс.
- bczhou/tiny-llava-v1-hfКартинка + текст 2,5 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("liuhaotian/LLaVA-Instruct-150K")