Мультимодальные предпочтения для RLHF

Что внутри

RLHF-V-Dataset — набор мультимодальной обратной связи для обучения vision-language моделей. В карточке указаны image/text-модальности и английский язык; объём — от 1 до 10 тыс. примеров. Данные использовались в MiniCPM-V 2.0; рядом доступны модели 7B и 12B.

Что можно сделать

• RLHF/RLAIF для vision-language моделей
• Обучение reward-модели для VLM
• Дообучение моделей вроде MiniCPM-V

Как загрузить

from datasets import load_dataset

ds = load_dataset("openbmb/RLHF-V-Dataset")