HomeIMG-641M-PL-stage1

HomeIMG-641M-PL-stage1 — первая двуязычная (польско-английская) версия HomeIMG, генератора изображений 256×256, обученного с нуля на 8 домашних GPU. Denoiser (641M) взят без изменений из HomeIMG-641M-epoch15, а новый text encoder построен на замороженной Poziomka-Baza (4B MoE) с новым refiner 72,1M, обученным с нуля на половине польских промптов. Это этап 1 из 2: обучался только refiner, denoiser был заморожен.

🔎 Ключевые особенности

• ⚙ Denoiser 641,1M — замороженный DiT: 6 блоков шириной 2560, 20 голов, cross-attention к тексту; декодер — FLUX.2 small decoder, латенты 128×16×16.
• 🔒 Text encoder: замороженная Poziomka-Baza (BailingMoeV2, 16 слоёв, ширина 2048, 128 экспертов). Используются 8 из 32 активных экспертов на токен — около 450M активных параметров вместо около 1,16B.
• 🆕 Refiner 72,1M обучен с нуля: проекция 2048 → 1280 и 4 двунаправленных блока трансформера; до 255 токенов промпта.
• 🎯 Данные: 5,88 млн изображений, для каждого случайный caption, в 50% случаев — польский перевод. Одна эпоха, 5 743 шага × 1024.
• 💻 Обучение на 8× RTX 3090 Ti: около 650 изображений/с, около 2,5 часа. Эксперты MoE хранятся в int8 — 4,2 ГБ вместо 7,7 ГБ.

💻 Пример

git clone https://github.com/adamo1139/trenowanie_generatora_obrazkow
cd trenowanie_generatora_obrazkow
python sample_ckpt.py cpral/HomeIMG-641M-PL-stage1 --out-dir out \
    --prompt "rudy kot śpiący na parapecie, fotografia" "a red cat sleeping on a windowsill, photograph"

Подробнее

Требования: Linux, CUDA, около 8 ГБ VRAM; в diffusers модель пока не работает.
Бенчмарки: val/loss в карточке — TODO, FD-DINOv2 обещан после этапа 2; BLiMP 68,3% против 68,5% при 32 экспертах.
Ограничения: только 256×256, ~6 млн синтетических изображений, промежуточный этап (denoiser ещё не видел польских промптов), ошибки машинного перевода в caption'ах, слабые текст и композиция.
Лицензия: веса и код — Apache-2.0; vae/ — FLUX.2 small decoder, Apache-2.0; Poziomka-Baza — отдельно, openmdw-1.1.