Pixel Art SDXL LoRA
16×16 спрайты для игр
2 мин чтенияобновлено
LoRA-адаптер для Stable Diffusion XL, который превращает текстовый промпт в одиночный игровой спрайт в стиле 16×16, увеличенный до 1024×1024. Базовая SDXL без адаптера рисует «пиксельные» иллюстрации с неровными квадратами и мягкими краями, а эта LoRA выдаёт один центрированный объект из плоских квадратных ячеек. Обучена на 1000 синтетических спрайтов из Pixel Art Atlas; меняются только веса LoRA (rank 32) в UNet, сама SDXL остаётся неизменной. Для ускорения авторы советуют совмещать её с LCM-LoRA: картинка генерируется за 6 шагов вместо 30. Подходит для предметов, простых существ и растений — но не для персонажей, сцен, тайлсетов и анимации.
Ключевые особенности
- Один объект по центру на пиксельной сетке, похожей на 16×16.
- Обучение на 1000 спрайтов; в датасете по одному объекту на предмет, чтобы выучить стиль, а не конкретные объекты.
- Совместимость с LCM-LoRA: 6 шагов, ускорение до 6,7× относительно базовой SDXL.
- В комплекте Gradio-приложение и шаг snap-to-grid для точных 16×16 спрайтов с прозрачным фоном.
- Промпты на английском; формат:
pxlsprite, pixel art sprite of <subject>, white background.
Что можно сделать
- Генерировать спрайты предметов, зелий, сундуков, ключей, растений и простых существ для игровых прототипов.
- Собрать небольшой набор ассетов: сгенерировать несколько сидов на объект, выбрать лучшие и прогнать через snap-to-grid.
- Быстро проверять идеи для пиксель-арта, сочетая LoRA с LCM-LoRA для 6-шаговой генерации.
- Запустить локальный Gradio-демо из репозитория и экспериментировать с промптами.
Пример
import torch
from diffusers import StableDiffusionXLPipeline, LCMScheduler
pipe = StableDiffusionXLPipeline.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', torch_dtype=torch.float16).to('cuda')
pipe.load_lora_weights('unsupervised-abdullah/pixel-art-sdxl-lora', weight_name='pytorch_lora_weights.safetensors', adapter_name='pixel')
pipe.load_lora_weights('latent-consistency/lcm-lora-sdxl', adapter_name='lcm')
pipe.set_adapters(['pixel', 'lcm'], adapter_weights=[1.0, 1.0])
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
image = pipe('pxlsprite, pixel art sprite of a red apple, white background', num_inference_steps=6, guidance_scale=1.0).images[0]
Подробнее
Быстрый вариант с LCM-LoRA и tiny VAE: 3,79 с на изображение, пик VRAM 8,1 ГБ, grid error 0,0190, CLIP 36,2. У базовой SDXL — 25,48 с, 9,5 ГБ, grid error 0,1236, CLIP 38,5.Веса LoRA — около 186 МБ; обучение заняло примерно 2 часа на одной NVIDIA T4.
Ограничения: фон не всегда белый, слабые результаты для мечей и пончиков, сырой вывод лишь близок к сетке; нужен snap-to-grid. Модель не для персонажей, сцен, тайлсетов, анимации и спрайтов больше 16×16.


Комментарии