SelfPO Qwen2.5-VL 7B CHIP random
исследовательский LoRA-адаптер
1 min readupdated
LoRA-адаптер (PEFT) от pratikjalan на базе Qwen/Qwen2.5-VL-7B-Instruct. Обучен по цели CHIP на варианте данных random; базовые веса в репозиторий не входят.
Ключевые особенности
- CHIP-адаптация: иерархическая preference-цель на уровнях ответа, изображения и токена, с mDPO-подобной веткой для изображений.
- Вариант random — равномерно случайный подбор негативов, контрольный baseline.
- Часть сетки 5 целей × 3 варианта × 4 базовые модели (60 запусков), где сравнивают SelfPO-негативы со случайными.
- LoRA: rank 64, alpha 128, dropout 0.0; обучены только слои языковой модели, vision tower и projector заморожены.
- 2 эпохи, lr 5e-07, global batch size 64, cutoff 4096, bfloat16 без квантизации.
Пример
from peft import PeftModel
from transformers import AutoProcessor, Qwen2_5_VLForConditionalGeneration
base = Qwen2_5_VLForConditionalGeneration.from_pretrained('Qwen/Qwen2.5-VL-7B-Instruct', revision='cc594898137f460bfe9f0759e9844b3ce807cfb5', torch_dtype='bfloat16')
model = PeftModel.from_pretrained(base, 'pratikjalan/selfpo-qwen25vl-7b-chip-random')
processor = AutoProcessor.from_pretrained('Qwen/Qwen2.5-VL-7B-Instruct', revision='cc594898137f460bfe9f0759e9844b3ce807cfb5')
Подробнее
Это исследовательский артефакт, не safety-tuned и не production-модель: возможны галлюцинации и смещения из данных.668 шагов оптимизатора; первый залогированный loss 0.7447, последний — 0.0041.
Лицензия адаптера CC-BY-NC-4.0 (non-commercial), также наследуется лицензия базовой модели.
В карточке нет бенчмарков — только конфигурация обучения и аудит-файлы.










Comments