HomeIMG-1.2B

Это исследовательский text-to-image генератор от cpral: denoiser DiT на 1,24B параметров, обусловленный замороженной польско-английской языковой моделью Poziomka-Baza (MoE, 4B) через обучаемый refiner на 72,1M. Обучен с нуля на 8 домашних GPU; понимает промпты на польском и английском.

🔥 Ключевые особенности

• 🔥 Curriculum 64 → 96 → 128 → 256 px; финальные 3 эпохи — в 256×256.
• 🚀 Случайные RoPE в стиле RPE-2D с этапа 128 px: модель выдаёт связные изображения в 384 и 512 px без обучения в этих разрешениях.
• 💯 Лучший val/loss в 256 px среди HomeIMG — 0,6067 (предыдущий рекорд 0,6170).
• 🤖 Обучение на 5,88 млн синтетических изображений FLUX 256 px; половина caption'ов — на польском.
• 👀 В репозитории уже есть Poziomka-Baza и tokenizer; для запуска нужно около 10 GB VRAM и diffusers с AutoencoderKLFlux2.

🤩 Пример

import torch
from diffusers import DiffusionPipeline

REPO = "cpral/HomeIMG-1.2B-PL-EN-epoch46"
pipe = DiffusionPipeline.from_pretrained(REPO, custom_pipeline=REPO, trust_remote_code=True).to("cuda")
image = pipe("rudy kot śpiący na parapecie, fotografia", num_inference_steps=50, guidance_scale=3.0,
             generator=torch.Generator("cuda").manual_seed(0)).images[0]
image.save("kot.png")

Подробнее

🧐 Подробнее
Обучение: 8× RTX 3090 Ti, bf16, около 18 ч, ~260 изображений/с; 8750 шагов × 2016 = 17,6 млн примеров.
Запуск: ~10 GB VRAM; репозиторий содержит text encoder (4,1 GB), по умолчанию 256×256, resolution=512 — экстраполяция.
Ограничения: текст на изображениях обычно бессмысленный, лица иногда искажены, редкие польские слова понимаются плохо; в 384–512 px бывают повторы, выше 512 px не проверяли.
Лицензии: код, denoiser и refiner — Apache-2.0; text_encoder — openmdw-1.1; VAE — FLUX.2 small decoder, Apache-2.0.