Pixie P32
компактная нейросеть для пиксель-арт спрайтов 32×32
2 мин чтенияобновлено
Модель от автора EmilioSchwaiger генерирует нативные пиксель-арт спрайты размером 32×32 с прозрачным фоном по короткому текстовому описанию на английском языке. В отличие от обычных диффузионных моделей, которые рисуют в высоком разрешении и требуют даунскейла, Pixie P32 представляет собой авторегрессионный трансформер на 66.4M параметров, предсказывающий индексы цветов из палитры напрямую по патчам 2×2. Для понимания текста модель использует первые 11 слоёв внешнего энкодера openai/clip-vit-large-patch14. Разработка пригодится инди-разработчикам игр и исследователям, которым нужен быстрый прототип игровых иконок, предметов или существ без тяжеловесных генераторов.
Ключевые особенности
- Нативный пиксель-арт: генерация идёт напрямую в сетке 32×32 по палитре из 4097 цветов (индекс 0 отвечает за прозрачность в RGBA), без размытия и артефактов сжатия.
- Лёгкая архитектура: 16 слоёв, ширина 512, 8 голов внимания и частичный 2D-RoPE (позиционное кодирование для двумерных сеток), общий вес — около 66.4M параметров.
- Слот стиля и палитры: каждый патч 2×2 кодируется через три слота палитры и один слот стиля.
- Открытая лицензия: веса распространяются под Apache-2.0, исходный код обучения и инференса выложен на GitHub.
Что можно сделать
- Прототипирование 2D-игр: быстро нагенерировать пачки иконок для инвентаря — зелья, мечи, шлемы, монеты или реквизит для уровней.
- Создание персонажей и врагов: получать базовые заготовки существ (например, слаймов или монстров) для дальнейшей ручной доработки художником.
- Исследования и дообучение: использовать код пайплайна из репозитория QuarkOS/pixie для экспериментов с авторегрессионной генерацией индексированной графики.
Пример
hf download EmilioSchwaiger/pixie-32 --local-dir pixie-32
hf download openai/clip-vit-large-patch14 model.safetensors tokenizer.json --local-dir clip-vit-large-patch14
python -m train.sample_pixie --model-dir pixie-32 \
--clip clip-vit-large-patch14/model.safetensors \
--tokenizer clip-vit-large-patch14/tokenizer.json \
--prompt "red potion" --prompt "iron helmet" --n 4 --out sprites.png
Подробнее
Метрики: IID validation NLL составила 0.5237 на шаге 17 746 (около 1.25M просмотренных изображений).Обучение: датасет из ~130k спрайтов 32×32, сгенерированных через Krea 2 Turbo с пиксель-арт LoRA.
Требования: дополнительно скачивается текстовый энкодер CLIP ViT-L/14 (не включён в веса).
Ограничения: исследовательская модель с неровным качеством; по краям спрайтов иногда остаются пурпурные (magenta) пиксели от фонового ключа обучения.










Комментарии