controlnet-canny-sdxl-1.0-mid

Компактный ControlNet с canny-кондиционированием для stabilityai/stable-diffusion-xl-base-1.0 от Jinstudio. Модель содержит 0.27B параметров и, по карточке, в 5 раз меньше оригинального XL ControlNet. Это экспериментальный чекпойнт для text-to-image через diffusers.

💡 Ключевые особенности

• ⚡ В 5 раз меньше оригинального XL ControlNet при 0.27B параметров.
• 🧩 Canny-кондиционирование: генерация с опорой на контуры входного изображения.
• ⚙ Инициализирован из SDXL UNet, без attention-блоков; дистилляция не применялась.
• 🔎 Для хорошего обобщения рекомендуется controlnet_conditioning_scale=0.5; значения controlnet_conditioning_scale и guidance_scale стоит подбирать.
• 🫡 Для сложных условий крупные чекпойнты могут давать лучшее качество.
• 🧬 Обучен на 3M изображений из LAION aesthetic 6 plus.

🎯 Пример

from diffusers import ControlNetModel, StableDiffusionXLControlNetPipeline
import torch
controlnet = ControlNetModel.from_pretrained(
    "Jinstudio/controlnet-canny-sdxl-1.0-mid", torch_dtype=torch.float16)
pipe = StableDiffusionXLControlNetPipeline.from_pretrained(
    "stabilityai/stable-diffusion-xl-base-1.0",
    controlnet=controlnet, torch_dtype=torch.float16)
pipe.enable_model_cpu_offload()

Подробнее

Обучение: 3M изображений LAION aesthetic 6 plus, batch size 256, 50k шагов, постоянный learning rate 3e-5.
Железо: одна машина 8×A100, mixed precision FP16.
Чекпойнт экспериментальный: без дистилляции и attention-блоков; для сложных условий лучше крупные версии.
Минимальные требования к VRAM в карточке не указаны.