Mage-Flow-RGBA VAE

leafmoone выложил RGBA VAE для microsoft/Mage-Flow: LoRA-адаптер rank 32, дообученный на прозрачных изображениях из датасета webdataset_danbooru_v3_alpha_repack. В репозитории есть слитые веса VAE на 404.6 MB и отдельный LoRA-адаптер на 43.7 MB.

😎 Ключевые особенности

• 😎 Слитые RGBA VAE веса можно загружать напрямую, отдельный LoRA — для PEFT.
• 🤓 LoRA rank/alpha 32, адаптер весит 43.7 MB.
• 📝 Вход и выход VAE — 4 канала в диапазоне [-1, 1], Alpha в канале 3, +1 означает непрозрачность.
• 😏 Обучение шло на 512px в bf16, global batch 32, на одной DCU.
• 🙃 Это только VAE-этап: DiT LoRA не обучался, для нативной прозрачной генерации его нужно дообучить.

📝 Пример

Сценарий из карточки: подать на вход RGBA-изображение и использовать VAE для восстановления альфа-канала. Для генерации прозрачных картинок с нуля потребуется дополнительный DiT LoRA, которого в репозитории нет.

Подробнее

На валидации step 14000: PSNR 31.12 dB, Alpha MAE 0.01131; лучший Alpha MAE 0.01107 был на step 11500.
Total loss снизился на 23.8% между первыми и последними 100 логами.
Обучение: micro-batch 8 × accumulation 4, около 4.79 с/шаг, пик памяти примерно 39.5 GiB.
Ограничение: только VAE-этап, DiT LoRA не обучался. Лицензия GPLv3.