HomeIMG-641M-epoch15

Экспериментальная модель text-to-image 256×256 от cpral: 641M-параметровый flow-matching DiT, обученный с нуля на 8 потребительских GPU. Условие — замороженная небольшая языковая модель SlayerLab/Slayer149 через обучаемый refiner на 35.7M параметров; декодирование — замороженным FLUX.2 small decoder. Это продолжение HomeIMG-50M и HomeIMG-253M.

⚙ Ключевые особенности

• ⚙ 641M DiT: 6 блоков, ширина 2560, 20 голов, SwiGLU, 2D RoPE, QK-norm и cross-attention; широкий и неглубокий.
• 🧊 Текстовый энкодер Slayer149 (148.9M, English) заморожен; refiner 35.7M, до 95 токенов + BOS.
• 🌄 Фиксированный выход 256×256; латенты 128×16×16, декодер FLUX.2 small decoder заморожен.
• 🏆 FD-DINOv2 27.66 (WSM) и held-out velocity MSE 0.6297 — лучшие среди сравнённых в карточке.
• 📀 Обучение: 5.88M изображений, 15 эпох = 88.2M сэмплов, 8× RTX 3090 Ti, MuLoCo/Muon и iREPA; веса и код Apache-2.0.

💡 Пример

import torch
from diffusers import DiffusionPipeline
REPO = "cpral/HomeIMG-641M-epoch15"
pipe = DiffusionPipeline.from_pretrained(REPO, custom_pipeline=REPO, trust_remote_code=True).to("cuda")
image = pipe("a red fox sitting in a snowy forest at sunrise, photograph",
             num_inference_steps=50, guidance_scale=3.0,
             generator=torch.Generator("cuda").manual_seed(0)).images[0]
image.save("out.png")

Подробнее

FD-DINOv2: 27.66 у WSM; held-out velocity MSE: 0.6297.
Обучение: 8× RTX 3090 Ti, bf16, torch.compile, около двух дней; 5.88M изображений, 15 эпох.
Ограничения: только 256×256, английские промпты до 95 токенов, слабый рендер текста и композиция.
Лицензия: Apache-2.0 для весов и кода; декодер FLUX.2 small decoder заморожен.