Mage-Flow-RGBA VAE
LoRA для альфа-канала на step 14000
1 min read
leafmoone выложил RGBA VAE для microsoft/Mage-Flow: LoRA-адаптер rank 32, дообученный на прозрачных изображениях из датасета webdataset_danbooru_v3_alpha_repack. В репозитории есть слитые веса VAE на 404.6 MB и отдельный LoRA-адаптер на 43.7 MB.
Ключевые особенности
- Слитые RGBA VAE веса можно загружать напрямую, отдельный LoRA — для PEFT.
- LoRA rank/alpha 32, адаптер весит 43.7 MB.
- Вход и выход VAE — 4 канала в диапазоне [-1, 1], Alpha в канале 3, +1 означает непрозрачность.
- Обучение шло на 512px в bf16, global batch 32, на одной DCU.
- Это только VAE-этап: DiT LoRA не обучался, для нативной прозрачной генерации его нужно дообучить.
Пример
Сценарий из карточки: подать на вход RGBA-изображение и использовать VAE для восстановления альфа-канала. Для генерации прозрачных картинок с нуля потребуется дополнительный DiT LoRA, которого в репозитории нет.
Подробнее
На валидации step 14000: PSNR 31.12 dB, Alpha MAE 0.01131; лучший Alpha MAE 0.01107 был на step 11500.Total loss снизился на 23.8% между первыми и последними 100 логами.
Обучение: micro-batch 8 × accumulation 4, около 4.79 с/шаг, пик памяти примерно 39.5 GiB.
Ограничение: только VAE-этап, DiT LoRA не обучался. Лицензия GPLv3.










Comments