Датасет · nyu-visionx
Сборный корпус для выравнивания мультимодальных моделей
nyu-visionx/Cambrian-Alignment
От 100 тыс. до 1 млн пар «вопрос-ответ» с картинками на английском для alignment-обучения VLM.
Что внутри
Датасет на английском языке объединяет данные для визуальных ответов на вопросы (VQA) из популярных открытых источников: LLaVA, Mini-Gemini, Allava и ShareGPT4V. Внутри от 100 тысяч до 1 миллиона примеров с изображениями и текстом, собранных для проекта Cambrian.
Что можно сделать
- Этап alignment-обучения мультимодальных моделей (связывание визуального энкодера и языковой модели)
- Дообучение VLM отвечать на вопросы по изображениям
- Задачи
- Вопросы по картинкам, Вопрос-ответ
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 6,6 тыс.
- Лайков
- 39
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("nyu-visionx/Cambrian-Alignment")