selfpo-llava15-7b-chip-native
LoRA-адаптер для LLaVA 1.5 с preference-обучением
2 мин чтенияобновлено
Это LoRA-адаптер (небольшая надстройка над базовой моделью) для LLaVA 1.5 7B — VLM (визуально-языковой модели), которая отвечает на вопросы по изображениям. Адаптер обучен с целью CHIP: иерархической preference-оптимизацией на уровне ответа, изображения и токенов, поверх mDPO-подобной ветки для изображений. Вариант native использует released/native-corruption негативы и служит контекстным компаратором, а не контролируемым экспериментом; это часть сетки из 60 запусков (5 целей × 3 варианта данных × 4 базовые модели), где проверяют, лучше ли негативы SelfPO случайных. Базовые веса не входят: адаптер ставится через PEFT на llava-hf/llava-1.5-7b-hf. Пригодится исследователям и экспериментаторам с VLM, а не как production-модель.
Ключевые особенности
- CHIP-адаптация: иерархическая preference-цель на уровне ответа, изображения и токенов, построена на mDPO-подобной ветке для изображений.
- Вариант
native: сравнение с released/native-corruption негативами, контекстный компаратор, а не контролируемый эксперимент. - LoRA rank 64, alpha 128, dropout 0.0; обучались только слои языковой модели, vision tower и projector заморожены.
- 2 эпохи, learning rate 5e-07, global batch size 64, cutoff length 4096, bfloat16 без квантизации; 668 шагов оптимизатора.
- В репозитории только адаптер и конфиги, базовые веса LLaVA 1.5 7B нужно загружать отдельно.
Что можно сделать
- Загрузить адаптер поверх
llava-hf/llava-1.5-7b-hfи сравнить ответы с базой на своих изображениях и вопросах. - Использовать как стартовую точку для собственных preference-tuning экспериментов с VLM на LLaVA 1.5 7B.
- Проверить, как CHIP-адаптация влияет на ответы в мультимодальных диалогах: описание изображений и вопросы по картинке.
- Сравнить с 13B-вариантом из той же серии или другими objective-вариантами сетки, если они доступны.
Пример
from peft import PeftModel
from transformers import AutoProcessor, LlavaForConditionalGeneration
base = LlavaForConditionalGeneration.from_pretrained("llava-hf/llava-1.5-7b-hf", revision="b234b804b114d9e37bb655e11cbbb5f5e971b7a9", torch_dtype="bfloat16")
model = PeftModel.from_pretrained(base, "pratikjalan/selfpo-llava15-7b-chip-native")
processor = AutoProcessor.from_pretrained("llava-hf/llava-1.5-7b-hf", revision="b234b804b114d9e37bb655e11cbbb5f5e971b7a9")
Подробнее
Лосс за обучение: 0.6981 → 0.5355, 668 шагов оптимизатора.2 эпохи, LoRA rank 64 / alpha 128, обучение в bfloat16 без квантизации.
Это исследовательский артефакт: не safety-tuned и не production-модель, возможны галлюцинации и смещения из данных.
Лицензия адаптера CC-BY-NC-4.0, некоммерческое использование; данные — из TPO dataset
helehan/topic-overwrite.









Комментарии