selfpo-qwen3vl-4b-icvco-native
адаптер оптимизации предпочтений для Qwen3-VL
2 min readupdated
Это LoRA-адаптер (небольшая надстройка над базовой моделью) от автора pratikjalan, созданный для мультимодальной языковой модели Qwen3-VL-4B-Instruct. Адаптер обучен методом IC-VCO (оптимизация предпочтений с контрастивным сравнением изображений) на варианте данных native в рамках исследовательской серии из 60 экспериментов. В отличие от базовой модели, он настроен на сравнение выбранных и отвергнутых ответов с опорой на визуальный контекст, при этом в репозитории лежат только веса адаптера без самой базы. Модель пригодится исследователям, изучающим выравнивание VLM (визуально-языковых моделей) и влияние выбора негативных примеров на качество генерации.
Ключевые особенности
- Обучен с помощью библиотеки PEFT (rank 64, alpha 128) только для слоёв языковой модели — визуальный энкодер и проектор заморожены.
- Входит в исследовательскую сетку из 60 запусков, сравнивающую разные целевые функции и способы подбора негативных примеров.
- Базируется на парах из датасета
helehan/topic-overwriteв вариантеnative(контекстуальный бейзлайн с исходными негативами). - Выпущен как исследовательский артефакт под некоммерческой лицензией CC-BY-NC-4.0 без дополнительной настройки безопасности.
Что можно сделать
- Подключить адаптер поверх
Qwen/Qwen3-VL-4B-Instructдля оценки влияния метода IC-VCO на мультимодальные ответы по изображениям. - Использовать чекпоинт в качестве контрольного образца при сравнении с другими методами оптимизации предпочтений VLM.
Пример
from peft import PeftModel
from transformers import AutoProcessor, Qwen2_5_VLForConditionalGeneration
base = Qwen2_5_VLForConditionalGeneration.from_pretrained("Qwen/Qwen3-VL-4B-Instruct", revision="ebb281ec70b05090aa6165b016eac8ec08e71b17", torch_dtype="bfloat16")
model = PeftModel.from_pretrained(base, "pratikjalan/selfpo-qwen3vl-4b-icvco-native")
processor = AutoProcessor.from_pretrained("Qwen/Qwen3-VL-4B-Instruct", revision="ebb281ec70b05090aa6165b016eac8ec08e71b17")
Подробнее
Обучение: 1 эпоха (304 шага), global batch size 64, learning rate 5e-06, точность bfloat16 без квантования.Лосс за время обучения снизился с 2.6528 до 1.6741, максимальная длина контекста — 4096 токенов.
Ограничения: исследовательская модель, может галлюцинировать; воспроизводимость побитово зависит от числа GPU.










Comments