Transparent LoRA для MOSS-Image
RGBA-картинки без вырезания фона
2 min read
genai-craft выпустил LoRA для MOSS-Image-SFT, которая рисует вырезанные объекты, логотипы, надписи и эффекты на прозрачном фоне. Сэмплер сразу отдаёт RGBA PNG, без отдельного удаления фона. Работает вместе с RGBA VAE trmz/flux2-klein-alpha, который декодирует четыре канала; размер LoRA — 149 MB, rank 32.
Ключевые особенности
- Триггер: в конец промпта добавить
isolated on a transparent background; для JSON layout — в summary caption. - Rank 32 по
q,k,v,o,ffn_up_gateиffn_down; 504 тензора, fp16, 149 MB. - Рецепт: MOSS-Image-SFT в bf16 + 8-step distillation, LoRA применяются unmerged и считаются в fp32; flow-matching, shift 5, 8 шагов.
- Декод через RGBA VAE с собственными BatchNorm-статистиками и 2x2 unpatchify; выше ~1.2 MP — тайлами.
- Пример умещает text encoder и transformer на одной 20 GB карте.
- Лицензия Apache-2.0; обучение на 209 RGBA-картинках, сгенерированных самой MOSS-Image.
Пример
pip install "torch>=2.9" "diffusers>=0.38" "transformers>=5.3" safetensors huggingface_hub pillow
python inference_example.py "photo of a red fox sitting, with a big fluffy tail" fox.png --seed 21
Подробнее
Бенчмарк: 0/24 потеряли объект, 0/24 сохранили фон; доля полностью непрозрачных пикселей — 0.39.Железо: достаточно одной 20 GB карты; на RTX 3080 20GB — 14.9–16.1 с на 1024×1024, на RTX A6000 — около 10.5 с.
Ограничения: заливные карточки и круглые логотипы выходят прозрачными; у дыма и огня жёсткие края, у неона слабое свечение.
Тестировали только с этим рецептом; другие сэмплеры, особенно data-space сэмплер дистилляции, теряют alpha.










Comments