К содержимому

Датасет · nyu-visionx

Сборный корпус для выравнивания мультимодальных моделей

nyu-visionx/Cambrian-Alignment

От 100 тыс. до 1 млн пар «вопрос-ответ» с картинками на английском для alignment-обучения VLM.

Что внутри

Датасет на английском языке объединяет данные для визуальных ответов на вопросы (VQA) из популярных открытых источников: LLaVA, Mini-Gemini, Allava и ShareGPT4V. Внутри от 100 тысяч до 1 миллиона примеров с изображениями и текстом, собранных для проекта Cambrian.

Что можно сделать

  • Этап alignment-обучения мультимодальных моделей (связывание визуального энкодера и языковой модели)
  • Дообучение VLM отвечать на вопросы по изображениям
Задачи
Вопросы по картинкам, Вопрос-ответ
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
6,6 тыс.
Лайков
39

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("nyu-visionx/Cambrian-Alignment")