pixelsprite canvas v2
генератор пиксель-арт спрайтов по тексту и силуэту
2 min readupdated
Компактный авторегрессионный трансформер (39,1 млн параметров), который по текстовому описанию рисует пиксель-арт спрайты размером 16×16, 24×24 и 32×32 пикселя. Модель попиксельно заполняет холст слева направо и сверху вниз, выбирая для каждой точки один из 1024 цветов палитры или прозрачность, а за понимание текста отвечает замороженный энкодер paraphrase-multilingual-MiniLM-L12-v2. В отличие от обычных генераторов картинок, она понимает запросы на русском, украинском и английском, позволяет раздельно управлять формой и цветом через classifier-free guidance (настройка силы следования промпту) и умеет раскрашивать готовый силуэт без изменения контура. Пригодится инди-разработчикам и пиксель-арт художникам для быстрого прототипирования иконок, предметов и игровых ассетов.
Ключевые особенности
- Понимает промпты на английском, русском и украинском языках, хотя обучалась на английских подписях.
- Поддерживает размеры 16×16 и 32×32 (нативное обучение), а также 24×24 как окно в центре холста 32×32.
- Раздельный classifier-free guidance: силу влияния промпта на силуэт и на цветовую палитру можно настраивать отдельно (по умолчанию 1.0 и 2.0).
- Режим раскрашивания по маске: при передаче готового силуэта модель подбирает только цвета, строго сохраняя исходную форму.
- Сверхлёгкая архитектура decoder-only на 12 слоёв (39,1M параметров) с палитрой из 1024 цветов в пространстве OKLab.
Что можно сделать
- Генерировать наборы игровых предметов, зелий и оружия в единой палитре и сразу сохранять их в PNG с альфа-каналом или единым спрайт-листом.
- Перекрашивать уже готовые спрайты и силуэты под разные стихии или материалы (например, превратить обычный сосуд в ледяное зелье с помощью параметра
mask). - Подключить к локальному веб-интерфейсу или CLI-утилите из репозитория автора для пакетного перебора вариантов по сиду.
Пример
from pixelsprite import SpritePipeline
pipe = SpritePipeline.from_pretrained("ihor-umanets/pixelsprite-canvas-v2")
res = pipe.generate("a teal cookie jar", n=8, size=32, seed=0)
res.save("outputs/jars")
recolour = pipe.generate("ice potion", n=4, size=32, mask=res.index[0] >= 0)
Подробнее
Обучена на 1 431 684 спрайтах (16×16 и 32×32) за 6 часов на одной NVIDIA RTX PRO 6000.На тесте наличие указанного в промпте цвета совпадает в 80,5% случаев для 16×16 и в 76,0% для 32×32; для русских и украинских запросов доминирующий оттенок совпадает с английским в 71% тестов.
Ограничения: плохо сочетает два признака сразу (в «blue flaming mushroom» может пропасть огонь), слабо реагирует на слова про позу и размер («upright», «tiny»), а редкие русские фразы без прямого аналога в датасете могут искажать форму объекта.
Лицензия весов: CC BY-NC 4.0 (только некоммерческое использование; датасеты обучения также собраны из ИИ-генераций Krea 2).










Comments