Датасет · nyu-visionx
Cambrian-10M для мультимодального instruction tuning
nyu-visionx/Cambrian-10M
Крупный англоязычный датасет визуальных вопросов-ответов и инструкций для обучения мультимодальных моделей.
Что внутри
Крупный датасет для instruction tuning мультимодальных моделей: визуальные вопросы-ответы и инструкции с изображениями. По метаданным в нём от 1 до 10 млн примеров на английском языке. Он создан, чтобы восполнить нехватку качественных multimodal instruction-tuning данных и сохранить языковые способности MLLM.
Что можно сделать
- Обучить VLM или MLLM следованию инструкциям
- Дообучить LoRA для visual question answering
- Проверить мультимодальный чат
- Задачи
- Вопросы по картинкам, Вопрос-ответ
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 60,8 тыс.
- Лайков
- 131
Модели, обученные на нём
- JulietChoo/VisionSelector-Qwen2.5-VL-3BКартинка + текст 79
- JulietChoo/VisionSelector-Qwen2.5-VL-7BКартинка + текст 43
- junha1125/gaze-attention-qwen3-4b-videoВидео + текст 22
- JulietChoo/VisionSelector-LLaVA-OV-1.5-8BКартинка + текст 18
- junha1125/gaze-attention-qwen3-4b-384Картинка + текст 12
- junha1125/gaze-attention-qwen3-4b-384-onevisionКартинка + текст 12
- junha1125/gaze-attention-qwen3-4b-512Картинка + текст 9
- jeduardogruiz/Mixtral_etherОбучение с подкреплением 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("nyu-visionx/Cambrian-10M")