Датасет · Lin-Chen
1,2 млн подписей к изображениям от GPT-4V
Lin-Chen/ShareGPT4V
Мультимодальные captions на английском для выравнивания изображений и текста и обучения captioning-моделей.
Что внутри
ShareGPT4V Captions 1.2M — набор мультимодальных подписей, сгенерированных с помощью GPT-4 Vision. Данные на английском, размер от 1 до 10 млн примеров, модальность в метаданных указана как text. Карточка также упоминает связанный ShareGPT4Video с 40K и 4,8M captions.
Что можно сделать
- Обучить vision-language модель генерации подписей
- Дообучить LoRA для image captioning
- Оценить выравнивание модальностей
- Задачи
- Вопросы по картинкам, Вопрос-ответ
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 2,2 тыс.
- Лайков
- 328
Модели, обученные на нём
- xtuner/llava-llama-3-8b-v1_1-transformersКартинка + текст 12,2 тыс.
- HuggingFaceM4/idefics2-8bКартинка + текст 5,9 тыс.
- bczhou/tiny-llava-v1-hfКартинка + текст 2,5 тыс.
- xtuner/llava-llama-3-8b-v1_1-ggufКартинка → текст 2,1 тыс.
- xtuner/llava-phi-3-mini-ggufКартинка → текст 1,4 тыс.
- HuggingFaceM4/idefics2-8b-chattyКартинка + текст 753
- xtuner/llava-phi-3-mini-hfКартинка → текст 607
- chatpig/llava-llama3Картинка → текст 398
Как загрузить
from datasets import load_dataset
ds = load_dataset("Lin-Chen/ShareGPT4V")