controlnet-depth-sdxl-1.0-mid

Это ControlNet-веса для depth-кондиционирования поверх stabilityai/stable-diffusion-xl-base-1.0 из репозитория Jinstudio. Чекпойнт примерно в 5 раз меньше оригинального XL ControlNet; по метаданным — 0.27B параметров. Работает через diffusers и предназначен для генерации изображений по карте глубины.

👀 Ключевые особенности

• 🍒 В 5 раз меньше оригинального XL ControlNet — компактный вариант для depth-кондиционирования.
• 👀 Управляет генерацией по карте глубины поверх SDXL base 1.0.
• 💪 В архитектуре нет attention-блоков; ControlNet инициализирован из SDXL UNet.
• 😳 Чекпойнт экспериментальный: авторы просят фидбек и допускают улучшения.
• 👉 Рекомендуют настраивать controlnet_conditioning_scale и guidance_scale; в примере scale 0.5.

👉 Пример

import torch
from diffusers import ControlNetModel, StableDiffusionXLControlNetPipeline
controlnet = ControlNetModel.from_pretrained("diffusers/controlnet-depth-sdxl-1.0-mid", variant="fp16", torch_dtype=torch.float16).to("cuda")
pipe = StableDiffusionXLControlNetPipeline.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", controlnet=controlnet, torch_dtype=torch.float16).to("cuda")
# depth_image — карта глубины, например из Intel/dpt-hybrid-midas
images = pipe("stormtrooper lecture, photorealistic", image=depth_image, num_inference_steps=30, controlnet_conditioning_scale=0.5).images

Подробнее

Обучение: 3M изображений из LAION aesthetic 6 plus subset, batch size 256, 50k шагов, lr 3e-5.
Железо: одна машина 8xA100, mixed precision FP16.
Дистилляция не применялась: ControlNet инициализирован из SDXL UNet.
Ограничение: чекпойнт экспериментальный; для сложных кондиционирований большие ControlNet могут быть лучше.