Pixelquill-61M
генерация пиксель-арт спрайтов 16×16 без диффузии и VAE
3 мин чтения
Компактная модель от автора MahdiAlikhah на 61,3M параметров, которая превращает короткие английские описания в готовые пиксельные спрайты размером 16×16 пикселей. В отличие от привычных генераторов изображений, она обучена с нуля и обходится вообще без диффузии и VAE (нейросети-кодировщика для сжатия картинок). Вместо размытых картинок модель авторегрессионно предсказывает последовательность из 289 дискретных токенов: сначала выбирает палитру из 32 цветов, а затем заполняет каждый из 256 пикселей индексами из этой палитры (включая прозрачность). Подойдёт инди-разработчикам и энтузиастам для быстрого прототипирования игровых иконок, предметов и простых персонажей.
Ключевые особенности
- Токены вместо диффузии: сперва модель фиксирует палитру из 32 цветов, а потом расставляет пиксели, поэтому цвета не «плывут» и на выходе сразу получается чистый RGBA-спрайт.
- Лёгкая архитектура с нуля: включает 3-слойный текстовый энкодер на закрытый словарь из 8 643 слов и 12-слойный декодер с 2D axial RoPE и SwiGLU; веса в fp32 занимают всего 245,5 МБ.
- Понимание цветов и новизна: в тестах 23 из 24 запросов с названием цвета попали в нужный оттенок (медианная ошибка 4°), а среди сгенерированных спрайтов не найдено точных дубликатов из обучающей выборки.
- Открытая лицензия: код и веса распространяются под Apache-2.0, а обучение проходило на открытом датасете pixel-art-atlas-1.4m (CC0-1.0).
Что можно сделать
- Прототипировать ассеты для игр: быстро набросать иконки зелий, оружия, монстров или предметов окружения по коротким текстовым промптам вроде
cute teal slimeилиgreen potion. - Собирать спрайт-листы пачками: передавать в функцию
generate()сразу список промптов и сохранять наборы картинок с масштабированием (например, из 16×16 в 128×128 без мыла) прямо из Python или CLI. - Перекрашивать объекты промптом: менять только слово цвета в запросе, чтобы получать вариации одного и того же предмета — лучше всего это работает на округлых объектах вроде слизней и зелий.
Пример
import sys
from huggingface_hub import snapshot_download
path = snapshot_download("MahdiAlikhah/pixelquill-61m", local_dir="pixelquill")
sys.path.insert(0, path)
from pixelquill import Pixelquill
model = Pixelquill.from_pretrained(path)
model.generate_one("cute teal slime", scale=8).save("slime.png")
Подробнее
Метрики на отложенных объектах без пересечения с train: попиксельная точность с teacher-forcing — 80,65%, в свободном режиме генерации (free-running) — 31,6%, точных совпадений всего спрайта — 0,00%.Скорость и железо: на NVIDIA L4 генерация занимает ~2,8 с на один спрайт (батч из 32 — ~90 с), так как при сэмплировании пока не используется KV-кэш.
Ограничения: только холст 16×16, закрытый английский словарь на 8 643 слова (незнакомые слова превращаются в
), слабая согласованность тонких объектов вроде мечей (0.46 IoU против 0.94 у слизней), путаница при объединении двух объектов в одном промпте и высокая вариативность между сидами (28% совпадения пикселей).









Комментарии