selfpo-llava15-7b-icvco-ours
LoRA-адаптер для выравнивания LLaVA-1.5-7B
2 min readupdated
Это исследовательский адаптер типа LoRA (небольшая надстройка над базовой моделью) от автора pratikjalan, созданный на основе мультимодальной модели LLaVA-1.5-7B. Он предназначен для выравнивания (preference optimization — настройки ответов модели под предпочтения) с использованием функции потерь IC-VCO (image-contrastive visual-conditioned preference objective) и стратегии отбора негативных примеров SelfPO. На выходе вы получаете дообученную версию LLaVA-1.5-7B, которая точнее соотносит текстовые ответы с визуальным контекстом. Репозиторий входит в серию из 60 экспериментов по сравнению способов отбора данных и пригодится исследователям мультимодальных LLM.
Ключевые особенности
- Построена на базе
llava-hf/llava-1.5-7b-hfи подключается через библиотеку PEFT без необходимости скачивать полные веса заново. - Использует метод обучения IC-VCO (контрастивная оптимизация предпочтений с опорой на изображение) и отбор негативных примеров SelfPO.
- Обучены только слои языковой модели (rank 64, alpha 128), тогда как визуальный энкодер (vision tower) и проектор оставались замороженными.
- Обучение проводилось на переработанных парах из датасета TPO (
helehan/topic-overwrite) в точностиbfloat16без квантования.
Что можно сделать
- Подключить адаптер поверх
llava-hf/llava-1.5-7b-hfдля локальных тестов качества ответов по изображениям. - Использовать чекпоинт как контрольный образец в академических экспериментах, сравнивая стратегию отбора негативов SelfPO со случайной выборкой.
- Изучить лог обучения (
training_audit.json) и конфигурацию воспроизводимости для настройки собственных пайплайнов DPO/VCO на базе библиотеки TRL.
Пример
from peft import PeftModel
from transformers import AutoProcessor, LlavaForConditionalGeneration
base = LlavaForConditionalGeneration.from_pretrained("llava-hf/llava-1.5-7b-hf", revision="b234b804b114d9e37bb655e11cbbb5f5e971b7a9", torch_dtype="bfloat16")
model = PeftModel.from_pretrained(base, "pratikjalan/selfpo-llava15-7b-icvco-ours")
processor = AutoProcessor.from_pretrained("llava-hf/llava-1.5-7b-hf", revision="b234b804b114d9e37bb655e11cbbb5f5e971b7a9")
Подробнее
Обучение: 1 эпоха (304 шага), глобальный батч 64, learning rate 5e-06, длина контекста до 4096 токенов; loss снизился с 2.6579 до 1.6087.Железо и формат: обучение в bfloat16 без квантования; для запуска требуются базовые веса LLaVA-1.5-7B.
Ограничения: исследовательский артефакт без safety-тюнинга, возможны галлюцинации и искажения из обучающих данных; лицензия CC-BY-NC-4.0 (только некоммерческое использование).










Comments