OD-XL v0.3 Illustrious

Это LoRA для text-to-image, обученная через Diffusion-DPO на text-only датасете: пары well-formed Booru-промптов (chosen) против деградированных (rejected). Изображения как ground truth не использовались. База — Wh1teSpaces/OrthogonalDiffusion-XL, формат — diffusers.

✨ Ключевые особенности

• 🧃 2000 пар text-only: well-formed Booru prompt (chosen) vs деградированный (rejected), без ground-truth изображений.
• 📓 LoRA для diffusers; база — Wh1teSpaces/OrthogonalDiffusion-XL.
• 🔥 Paired Conditional DPO, beta=500; обучаемых параметров 85.11M из 2.567B (3.32%).
• 💻 Обучение на Kaggle 2× Tesla T4; пик VRAM — 6.99 GB на GPU, effective batch — 8 пар.
• 📌 В карточке указаны clip_skip=2 и prediction_type="epsilon".

💻 Пример

from diffusers import StableDiffusionXLPipeline
import torch

pipe = StableDiffusionXLPipeline.from_single_file('OD_XL_v0_3_IllustriousStyle_Boost_fp16.safetensors', torch_dtype=torch.float16, use_safetensors=True)
pipe.load_lora_weights('WhiteSpaces/OD-XL-v0.3-Illustrious-BooruDPO-LoRA-r32', weight_name='pytorch_lora_weights.safetensors')
pipe.to('cuda')

Подробнее

Метрики: loss 0.693147 → 1.200877, margin 0.0 → 0.003758, accuracy 0.0 → 0.6.
ratio_w 1.0 → 0.899575, ratio_l 1.0 → 0.964395; остановка обучения — NAN.
Пик VRAM — 6.99 GB на GPU; T4 (SM 7.5) без BF16, поэтому FP16 + GradScaler.
Датасет — 2000 text-only пар; timestep [350, 999], 420 шагов оптимизатора.