Датасет · lmms-lab
Мультиизображенческие инструкции M4
lmms-lab/M4-Instruct-Data
Наборы с несколькими изображениями и инструкциями для обучения мультимодальных моделей.
Что внутри
M4-Instruct — набор данных с несколькими изображениями, собранных из публичных датасетов или сгенерированных через GPT-4V API. Предназначен для обучения LMM работе с чередующимися несколькими изображениями, например LLaVA-NeXT-Interleave. Язык — английский, размер от 100 тыс. до 1 млн примеров; собран в апреле 2024 и выпущен в июне 2024. Задачи — visual-question-answering и question-answering.
Что можно сделать
- Обучать LMM на multi-image инструкциях
- Дообучать LLaVA-NeXT-Interleave-подобные модели
- Проверять ответы по нескольким изображениям
- Задачи
- Вопросы по картинкам, Вопрос-ответ
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 6 тыс.
- Лайков
- 78
Модели, обученные на нём
- HuggingFaceTB/SmolVLM2-500M-Video-InstructКартинка + текст 1,8 млн
- HuggingFaceTB/SmolVLM2-2.2B-InstructКартинка + текст 67,4 тыс.
- HuggingFaceTB/SmolVLM2-256M-Video-InstructКартинка + текст 39,1 тыс.
- HuggingFaceTB/SmolVLM2-2.2B-BaseКартинка + текст 1,5 тыс.
- mradermacher/SmolVLM2-2.2B-Instruct-i1-GGUFВидео + текст 959
- mradermacher/SmolVLM2-500M-Video-Instruct-i1-GGUF 785
- mradermacher/SmolVLM2-256M-Video-Instruct-i1-GGUF 756
- mradermacher/Migician-GGUF 524
Как загрузить
from datasets import load_dataset
ds = load_dataset("lmms-lab/M4-Instruct-Data")