data266-pokemon-lora
генерация существ в стиле покемонов для SD 1.5
2 min readupdated
Это LoRA (небольшая надстройка над базовой моделью), которая учит Stable Diffusion 1.5 рисовать вымышленных существ в узнаваемой стилистике покемонов. Адаптер создан автором dhruv1672 на базе 833 иллюстраций из датасета pokemon-blip-captions и применяется к слоям внимания UNet. В отличие от базовой модели, которая смешивает разные художественные манеры, эта версия уверенно переносит характерную рисовку и композицию с одним персонажем на белом фоне. Пригодится для генерации концептов фэнтези-существ, стилизованных иллюстраций или экспериментов с настройкой рангов LoRA.
Ключевые особенности
- Версия v2.0 прошла серию тестов по разным рангам (от 4 до 128), лучшим выбран вариант
lora_r16_a16с EMA-весами. - Снижает метрику KID (отличие от целевого стиля) на тестовом наборе с 0.06483 у базовой модели до 0.02923.
- В репозитории сохранены все промежуточные прогоны экспериментов — их можно загружать по отдельности через
subfolder. - Поддерживает стандартный пайплайн
diffusersи работает в разрешении 512×512 пикселей.
Что можно сделать
- Придумывать новых существ в духе покемонов по текстовым описаниям вроде «сине-жёлтый покемон».
- Сравнить работу адаптеров с разным рангом (например, компактный
lora_r4_a4против финальногоlora_r16_a16) в одном проекте черезdiffusers. - Использовать как отправную точку для генерации спрайтов и концепт-артов одиночных персонажей на чистом светлом фоне.
Пример
from diffusers import StableDiffusionPipeline
import torch
pipe = StableDiffusionPipeline.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5", torch_dtype=torch.float16).to("cuda")
pipe.load_lora_weights("dhruv1672/data266-pokemon-lora", revision="v2.0")
image = pipe("a drawing of a blue and yellow pokemon", num_inference_steps=30, guidance_scale=7.5).images[0]Подробнее
Тест (20 промптов, 30 шагов DDIM): KID — 0.02923 (база — 0.06483), CLIP score — 31.865, LPIPS diversity — 0.782.Обучение: 4000 шагов на 685 картинках (512 px, AdamW, lr 0.0001, EMA 0.999, min-SNR 5.0); пиковое потребление при обучении на A100 составило ~6.93 GiB.
Ограничения: короткие машинные подписи хуже дают точный контроль над деталями, а сложные сцены с несколькими героями тяготеют к одному существу на белом фоне. Модель предназначена только для некоммерческого использования.










Comments