SAE-virchow-v2

Репродукция моделей PICASSO от ZihengZ: два чекпоинта для TCGA H&E. Первый — TopK sparse autoencoder на CLS-токене Virchow2: 1280 → 40 960 концептов, k = 30. Второй — latent diffusion на SD 1.5 U-Net, который генерирует H&E-тайл 256 px из CLS-эмбеддинга.

🔤 Ключевые особенности

• 🔤 SAE: d_model = 1280, d_sae = 40 960, top_k = 30; энкодер вычитает b_dec до top-k.
• 🟰 Emb2Img: SD 1.5 U-Net, VAE sd-vae-ft-mse, PNDM, 50 шагов, guidance 4.5.
• ➕ Можно менять один концепт: добавить s · W_dec[j] к эмбеддингу и сгенерировать тайл.
• ➖ Поддерживается только CLS финального слоя и тайлы 256×256 px при 0.5 µm/px; другие токены, слои и увеличения — нет.
• ✖ Лицензии Virchow2 и SD 1.5 наследуются: только non-commercial research use.

▶ Пример

for s in [0, 10, 20, 30]:
    cond = cls + s * sae.W_dec.data[j]
    img = generate(model, vae, sched, cond, cfg,
                   torch.Generator(device=dev).manual_seed(0))

Подробнее

Качество SAE на 984k отложенных тайлов TCGA: explained variance 0.83, cosine 0.93, 1 448 мёртвых концептов.
Closed-loop проверка Emb2Img: cosine 0.75 в среднем против 0.72 у ближайшего реального тайла.
Virchow2 gated — нужно принять условия; веса SAE 0.4 ГБ, Emb2Img 3.4 ГБ.
Только non-commercial research use; другие т��кены, слои и увеличения не поддерживаются.