qat-transfer-vae

Набор из 84 чекпойнтов декодера SD-1 KL-f8 VAE от gladia для исследования Zero-Shot Quantization via Weight-Space Arithmetic (NeurIPS 2026). Декодеры дообучены decoder-only на 12 доменах изображений; энкодер и quant_conv остаются исходными.

⚙ Ключевые особенности

• 🗂 84 чекпойнта: 12 доменов × 7 вариантов — FP, QAT/QAD в int3, fp4 (e2m1) и NVFP4 block scaling.
• ⚙ Квантование weight-only для всех decoder-side Linear и Conv2d; QAT/QAD — int3 и fp4, symmetric, per-channel.
• 📸 Домены: celebahq, chartqa, chestxray, coco, floorplan, food101, lsun_bedroom, lsun_church, pixelart, publaynet, resisc45, rico.
• 🧑‍💻 model.pt — flat state dict из 140 fp32 тензоров только decoder.* и post_quant_conv.* (49.5 M params).
• 🔎 QA-чекпойнты хранят full-precision latent weights без fake-quantization wrappers; QV = QA_final - FP_final для донора.

🧑‍💻 Пример

import torch
from diffusers import AutoencoderKL

vae = AutoencoderKL.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5", subfolder="vae", revision="451f4fe")
sd = torch.load("model.pt", map_location="cpu")
missing, unexpected = vae.load_state_dict(sd, strict=False)
assert not unexpected and all(k.startswith(("encoder.", "quant_conv.")) for k in missing)

Подробнее

84 чекпойнта: 12 доменов × 7 ролей/форматов; общий конфиг — 256 px, seed 2038, bf16_autocast_tf32, AdamW lr=1e-4, 5000 шагов.
QA стартуют с FP-чекпойнта step-1500 и учатся ещё 3500 шагов; QAD использует финальный FP-декодер того же домена как frozen teacher.
Лицензия — CreativeML Open RAIL-M; у датасетов свои условия.