controlnet-canny-sdxl-1.0-small

Это компактный ControlNet с canny-кондиционированием для stabilityai/stable-diffusion-xl-base-1.0 от Jinstudio. По метаданным, в нём около 0,16 млрд параметров, и он в 7 раз меньше оригинального XL ControlNet. Модель предназначена для text-to-image генерации с контролем контуров.

✨ Ключевые особенности

• 💻 Обучен на 3M изображений из LAION aesthetic 6 plus subset: batch size 256, 50k шагов, постоянный learning rate 3e-5.
• 🎨 Работает через StableDiffusionXLControlNetPipeline в diffusers.
• 📓 Без distillation: меньший ControlNet инициализирован из SDXL UNet и не содержит attention-блоков.
• ✨ Для хорошей генерализации рекомендуется controlnet_conditioning_scale=0.5; также советуют подбирать guidance_scale.
• 🚨 Чекпоинт экспериментальный: для сложных conditionings крупные версии могут давать лучшее качество.

💻 Пример

from diffusers import ControlNetModel, StableDiffusionXLControlNetPipeline
import torch
controlnet = ControlNetModel.from_pretrained("Jinstudio/controlnet-canny-sdxl-1.0-small", torch_dtype=torch.float16)
pipe = StableDiffusionXLControlNetPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", controlnet=controlnet, torch_dtype=torch.float16)
pipe.enable_model_cpu_offload()
image = pipe("aerial view, futuristic research complex", image=canny_image, controlnet_conditioning_scale=0.5).images[0]
image.save("out.png")

Подробнее

Обучение: 3M изображений LAION aesthetic 6 plus, batch size 256, 50k шагов, LR 3e-5.
Железо: одна машина 8xA100, mixed precision FP16.
Ограничение: модель экспериментальная; для сложных conditionings крупные чекпоинты могут быть лучше.