PokemonFoilMask-LoRA-Qwen-Image-2.1

LoRA для Qwen-Image-2.1 (7B DiT, image editing), которая по карте предсказывает grayscale-карту фольги: где голограмма блестит и насколько сильно. Также делает embossed etch-текстуру для full art и secret rare. Подходит для игр/приложений, 3D-вьюера карт, печатных макетов и сайтов коллекций.

👉 Ключевые особенности

• 🐱 Одна LoRA для holo, reverse holo, full art, stamped и etch-масок.
• 🍒 На вход — карта 800×1024, на выходе — grayscale-маска 800×1024, выровненная пиксель в пиксель.
• 😉 При фиксированном seed одна и та же карта даёт одинаковую маску.
• 👀 В репозитории есть WebGL-шейдер с наклоном за курсором и Python-рендерер для анимаций.
• 💳 Обучение: 15 945 пар card-to-mask из 14 340 карт; 820 карт полностью отложены для бенчмарка.

🥳 Пример

from PIL import Image
from diffusers import QwenImage21Pipeline
import torch
pipe = QwenImage21Pipeline.from_pretrained('Qwen/Qwen-Image-2.1', torch_dtype=torch.bfloat16)
pipe.load_lora_weights('newHashMap/PokemonFoilMask-LoRA-Qwen-Image-2.1', weight_name='pytorch_lora_weights.safetensors')
pipe.enable_model_cpu_offload()
card = Image.open('card.png').convert('RGB').resize((800, 1024))
mask = pipe(prompt='Draw the holo foil mask of this Pokemon card. Holo: only the artwork window shines. Inside the artwork window, paint the foil in grayscale, white where it shines. Paint everything outside the artwork window solid black: the border, name bar, attacks and text.', image=card, width=800, height=1024, output_resolution=905, num_inference_steps=28, generator=torch.Generator('cuda').manual_seed(0)).images[0].convert('L')

Подробнее

Бенчмарк на 820 held-out картах (929 foil-версий): overall 41.1; holo 55.9; reverse holo 24.4; full art 49.5.
База + LoRA — около 33 GB в bf16; с enable_model_cpu_offload() хватает 24 GB GPU.
Ограничения: reverse holo заметно слабее, обучение только на английских сетах. Лицензия Qwen Research — non-commercial research/evaluation.