HomeIMG-1.2B
генератор изображений с поддержкой польского и английского языков
1 мин чтенияобновлено
Модель для генерации картинок из текста на базе DiT (Diffusion Transformer, архитектура диффузионных моделей на основе трансформеров) с параметрами на 1,24 млрд и тренируемым рефайнером текста. В основе используются веса EMA (Exponential Moving Average, сглаженные экспоненциальные веса) в формате safetensors, а также замороженный энкодер Poziomka-Baza. Решение обучено на изображениях разрешением от 256 до 1024 пикселей с использованием базы FLUX.2 [klein] base 4B в качестве учителя. Модель подойдет исследователям и разработчикам, которым интересны эксперименты с двуязычной генерацией графики.
Ключевые особенности
- Диффузионная архитектура DiT с 1,24 млрд параметров
- Тренируемый рефайнер текста на 72,1 млн параметров
- Поддержка промптов на польском и английском языках
- Веса EMA в формате safetensors
Что можно сделать
- Сгенерировать изображения в разрешении до 1024x1024 пикселей на основе текстового описания
- Протестировать качество генерации при разной длине шагов и сдвиге времени
- Запустить модель с помощью библиотеки diffusers на Python
- Сравнить поведение модели при использовании различных зерен генератора (seed)
Пример
import torch
from diffusers import DiffusionPipeline
REPO = "cpral/HomeIMG-1.2B-PL-EN-epoch49.2-DanceOPD3652"
pipe = DiffusionPipeline.from_pretrained(
REPO, custom_pipeline=REPO, trust_remote_code=True
).to("cuda")
image = pipe(
"rudy lis siedzący w zaśnieżonym lesie o wschodzie słońca, fotografia",
resolution=1024,
num_inference_steps=50,
guidance_scale=3.0,
time_shift=6.0,
generator=torch.Generator("cuda").manual_seed(0),
).images[0]
image.save("lis.png")Подробнее
Архитектура: DiT 1.24B, рефайнер 72.1MОбучение: 1604 обновления на базе DanceOPD2048
Разрешение: 256, 512 и 1024 px
Лицензия: Apache-2.0, openmdw-1.1 для Poziomka










Комментарии