К содержимому

Датасет · MMInstruction

Мультимодальный датасет предпочтений с разметкой GPT-4V

MMInstruction/VLFeedback

80 тысяч инструкций с картинками и ответами от 12 визуально-языковых моделей, оцененными GPT-4V.

Что внутри

Внутри собрано 80 000 мультимодальных инструкций (изображения и текст) из разных источников, проверяющих различные навыки визуально-языковых моделей (LVLM). Для каждого примера сгенерировано по 4 ответа от пула из 12 моделей, а разметку предпочтений выполнила GPT-4V. Объем датасета попадает в диапазон от 10 000 до 100 000 записей.

Что можно сделать

  • RLHF- или DPO-дообучение мультимодальных моделей (VLM)
  • Обучение мультимодальных reward-моделей для оценки ответов по изображениям
Задачи
Вопросы по картинкам
Размер
10K–100K записей
Скачиваний за месяц
3 тыс.
Лайков
51

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("MMInstruction/VLFeedback")