Датасет · MMInstruction
Мультимодальный датасет предпочтений с разметкой GPT-4V
MMInstruction/VLFeedback
80 тысяч инструкций с картинками и ответами от 12 визуально-языковых моделей, оцененными GPT-4V.
Что внутри
Внутри собрано 80 000 мультимодальных инструкций (изображения и текст) из разных источников, проверяющих различные навыки визуально-языковых моделей (LVLM). Для каждого примера сгенерировано по 4 ответа от пула из 12 моделей, а разметку предпочтений выполнила GPT-4V. Объем датасета попадает в диапазон от 10 000 до 100 000 записей.
Что можно сделать
- RLHF- или DPO-дообучение мультимодальных моделей (VLM)
- Обучение мультимодальных reward-моделей для оценки ответов по изображениям
- Задачи
- Вопросы по картинкам
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 3 тыс.
- Лайков
- 51
Модели, обученные на нём
- unum-cloud/uform-gen2-dpoКартинка → текст 5 тыс.
- MMInstruction/SilkieГенерация текста 74
- quiyver/intern-vl-2.5-rewardЭмбеддинги 11
- thaitea/laya-visionВопросы по картинкам 0
- thaitea/laya-vision-smolvlm-256m-scoreВопросы по картинкам 0
- thaitea/laya-vision-201mВопросы по картинкам 0
- thaitea/laya-vision-microduck-kickВопросы по картинкам 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("MMInstruction/VLFeedback")