Spellcast3D Albedo

Это LoRA для трансформера Qwen-Image 2.1 Turbo плюс дообученный VAE-декодер. Модель превращает картинку в albedo — тот же объект без освещения и теней. Сделана для Spellcast3D, локального пайплайна генерации 3D-пропсов: albedo убирает швы между AI-раскрашенными видами при проекции на 3D-модель.

🧐 Ключевые особенности

• 🫡 Один проход на изображение: латент кодируется VAE, трансформер работает на timestep 0.498046875, затем декодер выдаёт albedo.
• 🤖 LoRA rank 128, alpha 128, bf16, 684 MB; отдельный дообученный VAE-декодер — 518 MB.
• 🫢 Фиксированный prompt embedding [38, 4096], текстовый энкодер не нужен.
• 🚀 Практически тот же результат на полной Qwen-Image 2.1: 36–45 dB PSNR между моделями на объектных видах 1024 px.
• ⛔ Лицензия только для research/evaluation, не для коммерческого использования без отдельной лицензии Qwen.

🫡 Пример

# плюс обычные файлы Qwen-Image 2.1
sd-cli --mode albedo --albedo-lora albedo_lora.safetensors --albedo-condition albedo_condition.safetensors --albedo-decoder albedo_vae.safetensors -i <picture or folder> -o <file or folder>

Подробнее

Hypersim IID: PSNR 21.47 / SSIM 0.834 / LPIPS 0.167 против 20.78 / 0.811 / 0.195 у Marigold V2 на Qwen-Image-Edit-2509.
Held-out Arb-Objaverse: 22.2 dB PSNR.
Стороны изображения кратны 32 px; обучение до 1024 px. Фон не supervised — нужна маска объекта.
Тёмные глянцевые металлы могут выйти светлее; цвет иногда путается с цветным светом. 1–2% данных имели unlit/неверные материалы.
Обучение: 30k шагов, RTX 5090, 14 часов.