DINO-T2I SiT-XL
условная генерация по CLS-токену, не text-to-image
1 min readupdated
Финальный чекпоинт SiT-XL после 80 эпох обучения на ImageNet-1K в разрешении 256×256. Модель генерирует изображение, обусловленное замороженным CLS-представлением DINOv3 ViT-L/16 входной картинки; это не самостоятельный text-to-image pipeline.
Ключевые особенности
- Условие — CLS-токен DINOv3 ViT-L/16, а не текст.
- Архитектура SiT-XL: SwiGLU, RMSNorm, RoPE и shared adaLN.
- Латентный автоэнкодер — FLUX.2 VAE; разрешение 256×256.
- 80 эпох, optimizer step 200 160, batch size 512 на 4×NVIDIA H200, BF16.
- В чекпоинте есть training- и EMA-модель, optimizer state, аргументы, эпоха и шаг.
Пример
Сценарий из карточки: исследователь кодирует входное изображение через DINOv3 ViT-L/16, берёт CLS-вектор и сэмплирует новое изображение 256×256. Для запуска нужны исходный код DINO-T2I, FLUX.2 VAE и энкодер DINOv3.
Подробнее
На 25 held-out изображениях DINOv3-CLS similarity = 0.61471; это не ImageNet FID.Чекпоинт весит ~7,3 ГБ; обучение шло с EMA decay 0.9995 и learning rate 2e-4.
Ограничение: не standalone text-to-image — нужны совместимый код, FLUX.2 VAE и DINOv3 ViT-L/16.










Comments