Sample-Aligned Decoders (SAD)
сменные декодеры для генераторов изображений
2 мин чтенияобновлено
Набор готовых декодеров от исследователей Китайской академии наук и Университета Цинхуа, которые заменяют штатный декодер автоэнкодера (VAE — модуль, превращающий сжатое представление картинки в пиксели) в латентных генеративных моделях. Каждый файл содержит только веса декодера (decoder.* и post_quant_conv.*), дообученные методом Sample-Aligned Decoders на латентах конкретного генератора. Энкодер, латентное пространство и сам генератор остаются прежними, поэтому скорость и стоимость инференса не меняются. Подойдёт исследователям и разработчикам, работающим с DiT, SiT и PixArt-α.
Ключевые особенности
- Работают как drop-in замена — меняют декодер на месте без переобучения основного генератора.
- Не увеличивают затраты на инференс — архитектура и вычислительная нагрузка остаются как у оригинала.
- Поддерживают популярные семейства генераторов: DiT-XL/2, SiT-XL/2 + REPA, LightningDiT-XL, REPA-E и PixArt-α (в разрешении 256px).
- В репозитории есть варианты обучения через GAN-дискрепанс в пространстве DINOv2 (
sad-gan) и через MMD (sad-mmd).
Что можно сделать
- Подменить декодер в пайплайнах
diffusersдля моделей DiT-XL/2 или PixArt-α 256px с помощью функцииload_sad_decoderили стандартногоload_state_dict. - Использовать веса
lightningdit-xl-vavae-256иrepa-e-e2evae-256в кодовых базах LightningDiT и REPA-E для автоэнкодеров VA-VAE и E2E-VAE. - Обучить собственный SAD-декодер под свой генератор и сэмплер по инструкции из репозитория проекта.
Пример
from diffusers import DiTPipeline
from sad import load_sad_decoder
pipe = DiTPipeline.from_pretrained("facebook/DiT-XL-2-256").to("cuda")
load_sad_decoder(pipe.vae, "dit-xl2-256/sad-gan")
images = pipe(class_labels=[279, 388], num_inference_steps=250, guidance_scale=1.5).images
Подробнее
Обучение: каждый декодер дообучался 2 000 шагов (~1 GPU-час) с GAN-лоссом в пространстве DINOv2 или MMD плюс L1-якорь энкодера.Ограничения: каждый чекпоинт привязан к своему генератору, токенизатору (SD-VAE ft-EMA, VA-VAE, E2E-VAE) и сэмплеру.
Совместимость: веса для VA-VAE и E2E-VAE несовместимы с
diffusers напрямую и требуют классов из LightningDiT и REPA-E.









Комментарии