SDXS-512-DreamShaper + Sketch ControlNet

Это fused-связка ControlNet IDKiro/sdxs-512-dreamshaper-sketch и UNet IDKiro/sdxs-512-dreamshaper от psychocrackpot. Одношаговый diffusion-граф превращает линейный рисунок и CLIP-эмбеддинг в денойзенный латент за один InferenceSession.run. Файл fp16 ONNX весит около 1,005 ГБ и рассчитан на работу рядом с обычным SDXS text encoder и TAESD decoder из text-to-image репозитория.

💪 Ключевые особенности

• 🔥 ControlNet и UNet слиты в один граф — не нужно запускать их отдельно.
• 👉 Фиксированные входы: sample [1,4,64,64], timestep 999.0, encoder_hidden_states [1,77,768] CLIP ViT-L/14, controlnet_cond [1,3,512,512].
• 👀 sample уже разделён на sqrt(sigma² + 1); controlnet_cond — тёмные штрихи на светлом фоне в диапазоне [-1, 1].
• 💪 conditioning_scale задаётся на лету в [0, 1], в демо по умолчанию 0.8.
• 😐 Выход — предсказанный epsilon [1,4,64,64]; чистый латент: clean = sample - sigma * out при sigma = 14.614646911621094.
• 🥳 fp16-конвертация с keep_io_types=True: входы и выходы остаются float32, opset 17. Лицензия OpenRAIL++.

👉 Пример

Сценарий из карточки: подайте рисунок тёмными штрихами на светлом фоне, масштабированный в [-1, 1], вместе с CLIP-эмбеддингом и conditioning_scale=0.8. После InferenceSession.run восстановите чистый латент формулой выше и декодируйте его TAESD-декодером.