Transparent LoRA для MOSS-Image

genai-craft выпустил LoRA для MOSS-Image-SFT, которая рисует вырезанные объекты, логотипы, надписи и эффекты на прозрачном фоне. Сэмплер сразу отдаёт RGBA PNG, без отдельного удаления фона. Работает вместе с RGBA VAE trmz/flux2-klein-alpha, который декодирует четыре канала; размер LoRA — 149 MB, rank 32.

✨ Ключевые особенности

• 🎯 Триггер: в конец промпта добавить isolated on a transparent background; для JSON layout — в summary caption.
• 🧩 Rank 32 по q, k, v, o, ffn_up_gate и ffn_down; 504 тензора, fp16, 149 MB.
• ⚙️ Рецепт: MOSS-Image-SFT в bf16 + 8-step distillation, LoRA применяются unmerged и считаются в fp32; flow-matching, shift 5, 8 шагов.
• 🖼️ Декод через RGBA VAE с собственными BatchNorm-статистиками и 2x2 unpatchify; выше ~1.2 MP — тайлами.
• 💾 Пример умещает text encoder и transformer на одной 20 GB карте.
• 📄 Лицензия Apache-2.0; обучение на 209 RGBA-картинках, сгенерированных самой MOSS-Image.

💻 Пример

pip install "torch>=2.9" "diffusers>=0.38" "transformers>=5.3" safetensors huggingface_hub pillow
python inference_example.py "photo of a red fox sitting, with a big fluffy tail" fox.png --seed 21

Подробнее

Бенчмарк: 0/24 потеряли объект, 0/24 сохранили фон; доля полностью непрозрачных пикселей — 0.39.
Железо: достаточно одной 20 GB карты; на RTX 3080 20GB — 14.9–16.1 с на 1024×1024, на RTX A6000 — около 10.5 с.
Ограничения: заливные карточки и круглые логотипы выходят прозрачными; у дыма и огня жёсткие края, у неона слабое свечение.
Тестировали только с этим рецептом; другие сэмплеры, особенно data-space сэмплер дистилляции, теряют alpha.