Stable Diffusion 1.5 WebNN

Это ONNX-версия Stable Diffusion 1.5 от webnn, адаптированная для WebNN: статические входные формы и удаление неиспользуемых операторов. Базовая модель — runwayml/stable-diffusion-v1-5, латентная диффузионная text-to-image модель. По карточке, вариант предназначен только для образовательных или тестовых целей.

⚙ Ключевые особенности

• ⚙ ONNX-конвертация SD 1.5 с оптимизацией под WebNN.
• 📌 Статические входные формы и удаление неиспользуемых операторов.
• 🖥 Ориентирована на запуск через WebNN в соответствующем примере.
• ⚠ Заявлена только для educational/testing, не как production-решение.
• 📚 Лицензия CreativeML Open RAIL-M.

📝 Пример

В карточке код дан для базовой SD 1.5, а не для WebNN-варианта.

from diffusers import StableDiffusionPipeline
import torch

model_id = "runwayml/stable-diffusion-v1-5"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "a photo of an astronaut riding a horse on mars"
image = pipe(prompt).images[0]

Подробнее

Бенчмарков для WebNN-варианта в карточке нет.
У базовой SD 1.5 чекпоинты: 4.27 ГБ (ema-only) и 7.7 ГБ (ema+non-ema); обучение — 32 × 8 × A100.
Ограничения SD 1.5: не рендерит читаемый текст, может ошибаться на лицах и композиции, лучше работает с английскими промптами.
Лицензия CreativeML Open RAIL-M; вариант заявлен только для educational/testing.