Pokémon-style LoRA для Stable Diffusion 1.5

Это LoRA-адаптер для stable-diffusion-v1-5, обученный в академическом эксперименте DATA 266 на датасете изображений в стиле покемонов. В репозитории только веса адаптера; для инференса нужна базовая модель SD 1.5. Ранг LoRA — 16, обучаемых параметров — 3 188 736.

🧐 Ключевые особенности

• 🧐 Базовая модель: stable-diffusion-v1-5, лицензия CreativeML OpenRAIL-M.
• 👀 Датасет reach-vb/pokemon-blip-captions: 833 исходных изображения, после удаления почти-дубликатов — 822; 739 train / 83 test, разрешение 512×512.
• 🔥 Обучение: 1200 шагов, LR 0.0001, AdamW, FP16, batch size 1, gradient accumulation 4, seed 266, Diffusers 0.30.3.
• 💯 LoRA target modules: to_k, to_q, to_v, to_out.0.
• ⛔ Лицензии: датасет CC BY-NC-SA 4.0 и ограничения OpenRAIL — проверьте условия перед коммерческим использованием.

🚀 Пример

import torch
from diffusers import StableDiffusionPipeline
pipe = StableDiffusionPipeline.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5", torch_dtype=torch.float16).to("cuda")
pipe.load_lora_weights("haritha12345/data266-pokemon-sd15-lora-rank16", weight_name="pytorch_lora_weights.safetensors")
img = pipe("a colorful cartoon dragon with blue scales", num_inference_steps=25, guidance_scale=7.5, height=512, width=512).images[0]
img.save("generated.png")

Подробнее

Метрики: CLIP cosine 0.325110, KID 0.049860, LPIPS seed diversity 0.774919; safety-флаги — 3/40.
Обучение заняло 983.68 с; 1200 шагов, rank 16, 3 188 736 обучаемых параметров.
Ограничения: артефакты и анатомия, слабое следование композиции, возможное снижение разнообразия; малые выборки в оценке. Нужен safety checker базовой модели.
Лицензии: базовая OpenRAIL-M, датасет CC BY-NC-SA 4.0 — некоммерческие и share-alike условия.