Qwen3.5-9B ti5k pairsum LoRA

LoRA-адаптер от rooty2020 для базовой модели Qwen/Qwen3.5-9B. Обучен с pairsum contrastive objective на датасете ti_5k; vision tower исключён из обучения. В адаптере 86.6M обучаемых параметров при r 32 и alpha 64.

✅ Ключевые особенности

• 🦾 LoRA r 32, alpha 64, 86.6M trainable params; vision tower excluded.
• ✅ Pairsum contrastive objective: beta 0.1, lam 1.0, lr 1e-5, global batch 32.
• ⬇ Финальный чекпоинт: шаг 507 из 507, 1 эпоха.
• 🔥 Внутренняя валидация на 835 группах: val_acc 0.8917, val_acc_group 0.8527.
• 🤝 База — Qwen/Qwen3.5-9B на ревизии c202236235762e1c871ad0ccb60c8ee5ba337b9a.

⬇ Пример

from transformers import AutoModelForImageTextToText
from peft import PeftModel
base = AutoModelForImageTextToText.from_pretrained("Qwen/Qwen3.5-9B", revision="c202236235762e1c871ad0ccb60c8ee5ba337b9a", dtype="bfloat16")
model = PeftModel.from_pretrained(base, "rooty2020/Qwen3.5-9B-ti5k-pairsum-LoRA")

Подробнее

Валидация на 835 группах: val_acc 0.8917, val_acc_group 0.8527, val_z 4.986 на шаге 507.
Обучение: 4× NVIDIA GH200 120GB, 14 ч 08 мин; torch 2.11.0, transformers 5.14.1, peft 0.20.0.
Ограничения: финальный чекпоинт, vision tower не обучался; метрики только на внутренней валидации ti_5k.