Clearframe HQ inpaint
инпейнтинг SD 1.5 прямо в браузере
2 min readupdated
Модель перерисовывает выделенную область изображения — в карточке описано применение для участка под удалённым водяным знаком. Это сборка Stable Diffusion 1.5 для инпейнтинга на базе Lykon/dreamshaper-8-inpainting, в которую добавлен LCM-LoRA для генерации за несколько шагов. Версия упакована в ONNX и рассчитана на запуск в браузере через onnxruntime-web с WebGPU. Пригодится тем, кто делает веб-редакторы изображений и хочет локальную ретушь без серверной GPU.
Ключевые особенности
- Основа — Lykon/dreamshaper-8-inpainting, то есть SD 1.5 в режиме инпейнтинга.
- Добавлен latent-consistency/lcm-lora-sdv1-5: в schedule.json заданы 4 шага и strength 0.55.
- Конвертация в ONNX: fp16 с нормализацией и softmax в fp32, веса conv/linear — int8 per-channel, weight-only.
- Текстовый промпт фиксирован эмбеддингом prompt_emb.f32 [1,77,768]; латентные стороны должны быть кратны 8.
Что можно сделать
- Встроить в браузерный редактор: пользователь выделяет область после удаления водяного знака, модель дорисовывает её.
- Собрать локальный инструмент ретуши, который работает в браузере через WebGPU без серверной генерации.
- Использовать как быстрый inpainting-блок в WebGPU-демо, где важны 4 шага LCM.
Пример
Сценарий: в веб-редакторе пользователь удаляет штамп водяного знака, выделяет очищенную область и запускает Clearframe HQ inpaint. Модель получает латентный sample [1,9,h,w], timestep и фиксированный CLIP-эмбеддинг [1,77,768], после чего перерисовывает участок с учётом окружения.
Подробнее
База: Lykon/dreamshaper-8-inpainting; лицензия CreativeML OpenRAIL-M распространяется и на выходы.Семплирование LCM: 4 шага, strength 0.55; высота и ширина латентов кратны 8.
Вход unet.onnx: sample [1,9,h,w], timestep int64 [1], emb [1,77,768].
Промпт не передаётся текстом — используется фиксированный prompt_emb.f32.










Comments