GenFirst

ByteDance-Seed выпустила GenFirst — семейство латентных генеративных моделей, где VAE обучается совместно с generative prior, чтобы избежать latent collapse. В релизе — end-to-end VAE, class-conditional SiT-XL для ImageNet и MMDiT-XL для text-to-image; веса в fp32, сэмплинг тестировали в bf16. Это research-релиз под CC BY-NC 4.0, а не diffusers-пайплайн.

🧩 Ключевые особенности

• 🧬 Двухфазное обучение: сначала prior формирует геометрию латентов, затем веса prior и entropy снижают в 10 раз, чтобы декодер вернул детали.
• 🖼️ Class-conditional SiT-XL и text-to-image MMDiT-XL: 28 блоков, width 1152, 16 heads, около 675M параметров; текстовый энкодер CLIP-L заморожен.
• 📦 Отдельно опубликованы end-to-end VAE и latent statistics; FLUX.2 VAE даёт rFID 0.041, PSNR 36.46 и SSIM 0.953.
• 🔗 Есть shared latents для генерации и понимания на Qwen3-VL ViT VAE с SigLIP или VLM-NLL; linear probe Top-1 — 79.25 и 81.69.
• ⚠️ Веса только для non-commercial research; чекпоинты — raw .pt, для запуска нужен тренировочный репозиторий.

🛠 Пример

git clone https://github.com/ByteDance-Seed/GenFirst
cd GenFirst && pip install -r requirements.txt
cd Prior_only
python generate.py --model SiT-XL/1 --resolution 256 \
  --ckpt /path/to/prior.pt --vae-arch f16d32 \
  --vae-ckpt /path/to/e2e-f16d32.pt \
  --latents-stats /path/to/e2e-f16d32-latents-stats.pt \
  --num-fid-samples 64 --label-sampling random --cfg-scale 1.5 --sample-dir samples

Подробнее

ImageNet 256: EiT 800ep — gFID 1.45 без guidance и 0.969 с guidance; 512 400ep — guided gFID 1.23.
T2I variant A: GenEval 0.8987, DPG-Bench 82.60; shared-latents SigLIP — rFID 0.39, GenEval 0.90.
VAE и файл latent stats нужно держать вместе: с чужими статистиками prior выдаст шум.
Лицензия весов CC BY-NC 4.0 — только non-commercial research; autoregressive EAR-инстанциация не выпущена.