Tessera-small

Tessera-small от Jagrat Patel (TheJagStudio) генерирует спрайты 16×16 по текстовому описанию. Модель на 47,6 млн параметров представляет каждый пиксель как токен из выученной палитры на 512 цветов: стартует с полностью замаскированного холста и распаковывает все 256 пикселей параллельно примерно за 16 шагов. Без VAE, латентного пространства и авторегрессии.

🤓 Ключевые особенности

• 😎 16×16 спрайт как предложение из 256 токенов; токен 0 — прозрачность.
• 👍 Двунаправленный трансформер: hourglass 2 + 8 + 2 блоков, ширина 512, 8 голов, QK-RMSNorm, 2D axial RoPE, Conv-SwiGLU, adaLN-single, 4 registers и self-conditioning.
• 🗣 Замороженный текстовый энкодер CLIP ViT-B/32, 24 токена.
• ⌨ Сэмплер с параллельным confidence-ordered unmasking, CFG, Gumbel-annealed выбором и spatial NMS; поддерживается inpainting.
• 🙅‍♂ Лицензия CC BY-NC 4.0: образование, исследования и личные некоммерческие проекты; для коммерции нужна отдельная лицензия.

⌨ Пример

from huggingface_hub import hf_hub_download
from tessera.pipeline import TesseraPipeline

ckpt = hf_hub_download('thejagstudio/tessera-small', 'tessera-small-fp16.pt')
pipe = TesseraPipeline.from_checkpoint(ckpt, device='cuda')
images = pipe(['golden crown with blue gems'], num_per_prompt=8, steps=16, cfg_scale=3.0, seed=0)
pipe.grid(images).save('crowns.png')

Подробнее

Бенчмарки: validation NLL 0.859 nats/pixel (perplexity 2.36), accuracy 78.8% замаскированных пикселей, CLIP score 25.24 против 25.28 у реальных спрайтов.
Обучение: 82 342 шага × 512 спрайтов (30 эпох на 1,4 млн спрайтов), одна NVIDIA RTX PRO 6000 Blackwell, около 5,5 ч.
Коммерческое использование запрещено без отдельной лицензии; код пайплайна — в файлах демо Space.