LLaVA-1.5 13B
LoRA-адаптер ICVCO с random-негативами
1 min readupdated
Это PEFT LoRA-адаптер для llava-hf/llava-1.5-13b-hf, обученный с целью ICVCO на варианте данных random. Автор — pratikjalan. Это часть сетки из 60 запусков (5 целей × 3 варианта × 4 базовые модели), где проверяют, превосходят ли SelfPO-негативы случайные. Веса базовой модели в репозитории нет.
Ключевые особенности
- PEFT LoRA поверх LLaVA-1.5-13B: ранг 64, alpha 128, dropout 0.0.
- Обучены только слои языковой модели; vision tower и projector заморожены.
- Вариант random — равномерно случайный отбор негативов, контролируемый baseline.
- 1 эпоха, lr 5e-06, cosine/warmup 0.1, global batch 64, bfloat16 без квантизации.
- 304 шага; loss снизился с 2.6501 до 1.3192.
Пример
from peft import PeftModel
from transformers import AutoProcessor, LlavaForConditionalGeneration
base = LlavaForConditionalGeneration.from_pretrained("llava-hf/llava-1.5-13b-hf", torch_dtype="bfloat16")
model = PeftModel.from_pretrained(base, "pratikjalan/selfpo-llava15-13b-icvco-random")
processor = AutoProcessor.from_pretrained("llava-hf/llava-1.5-13b-hf")
Подробнее
Loss: 2.6501 → 1.3192 за 304 шага.LoRA: rank 64, alpha 128, только LM-слои; cutoff 4096, beta 0.1.
Лицензия CC-BY-NC-4.0, некоммерческая; базовые веса не входят.
Это исследовательский артефакт, не safety-tuned и не production-модель: возможны галлюцинации и смещения данных. Бенчмарков в карточке нет.










Comments