Trout
диффузионная языковая модель для пиксель-арта
2 мин чтенияобновлено
Trout — это небольшая модель на 47.6M параметров, которая генерирует спрайты размером 16×16 пикселей с использованием маскированной диффузии (masked diffusion). Модель обрабатывает каждый спрайт как последовательность из 256 токенов поверх палитры из 512 цветов без использования VAE или латентного пространства. Архитектура построена на базе двунаправленного трансформатора с hourglass-структурой и текстовым энкодером CLIP. Релиз будет интересен разработчикам и исследователям, изучающим альтернативные подходы к генерации изображений без тяжелых диффузионных пайплайнов.
Ключевые особенности
- Палитра 512 цветов: использование фиксированной палитры OKLab k-means для токенизации пикселей
- Параллельная генерация: снятие масок со всех 256 пикселей примерно за 16 шагов с помощью confidence-ordered сэмплера
- Обучение с нуля: полностью самостоятельный тренировочный процесс на базе рецепта Tessera-small с оптимизатором Muon
- Легкий запуск: модель распространяется в одном файле весов fp16 с открытым скриптом реализации на PyTorch
Что можно сделать
- Генерация пиксель-арта: создавать спрайты 16×16 по текстовым описаниям (например, игровые иконки или персонажи)
- Инпаинтинг спрайтов: дорисовывать или изменять отдельные части существующих изображений с помощью масок
- Изучение архитектуры: исследовать работу маскированной диффузии на дискретных данных без тяжелых весов
Пример
from huggingface_hub import hf_hub_download
from trout import load_model_from_checkpoint, FrozenTextEncoder, sample, tokens_to_images, make_grid
ckpt = hf_hub_download("FrameXlabs/Trout", "trout-fp16.pt")
model, palette, meta = load_model_from_checkpoint(ckpt, device="cpu")
enc = FrozenTextEncoder(meta["text_encoder"], model.cfg.text_len, "cpu")
states, pooled = enc.encode(["golden crown with blue gems"] * 4)
toks = sample(model, states, pooled, steps=16, cfg_scale=3.0)
images = tokens_to_images(toks, palette)
make_grid(images, ncols=4).save("crowns.png")Подробнее
Параметры: 47.6MМетрики: validation NLL 2.176 nats/pixel, точность 54.6%
Требования: запущено и протестировано на CPU, веса в формате fp16
Лицензия: Apache-2.0










Комментарии