SDXL DPO Step 1000
UNet SDXL после diffusion DPO
1 мин чтенияобновлено
Это чекпоинт step 1000: UNet от stabilityai/stable-diffusion-xl-base-1.0, дообученный diffusion DPO на доступном пуле HPDv3. В репозитории лежат FP16- и FP32-веса UNet, а также состояние чекпоинта и метаданные обучения.
Ключевые особенности
- База — stabilityai/stable-diffusion-xl-base-1.0; обучение на 1 139 774 парах HPDv3, 150 пар с отсутствующими изображениями исключены.
- 1024×1024, seed 42, effective pair batch size 2048, DPO beta 5000, peak learning rate 2.048e-5, Adafactor.
- FP16-UNet в unet/ и FP32 master weights в unet_fp32/, плюс scaler.pt, random_states_*.pkl и training_metadata.json.
- Это step-1000, не step-2000; optimizer.bin и scheduler.bin отсутствуют — полного optimizer-state для резюма нет.
- Текстовые энкодеры, токенизатор и scheduler не дублируются: они загружаются из базовой SDXL.
Пример
import torch
from diffusers import AutoencoderKL, StableDiffusionXLPipeline, UNet2DConditionModel
repo = 'asksnskksnfapjgwanga/SDXL_DPO_Step_1000'
unet = UNet2DConditionModel.from_pretrained(repo, subfolder='unet', torch_dtype=torch.float16)
vae = AutoencoderKL.from_pretrained('madebyollin/sdxl-vae-fp16-fix', torch_dtype=torch.float16)
pipe = StableDiffusionXLPipeline.from_pretrained('stabilityai/stable-diffusion-xl-base-1.0', unet=unet, vae=vae, torch_dtype=torch.float16).to('cuda')
image = pipe('A watercolor painting of a quiet mountain village', height=1024, width=1024, num_inference_steps=50, guidance_scale=7.5, generator=torch.Generator(device='cuda').manual_seed(42)).images[0]
Подробнее
Бенчмарков в карточке нет.Обучение: 1 139 774 пары HPDv3, 1024×1024, DPO beta 5000, Adafactor, FP16 + FP32 master; случайный DDPM timestep на пару.
Ограничение: step-1000, optimizer.bin и scheduler.bin отсутствуют; для продолжения обучения оптимизатор нужно создавать заново.
VRAM не указана; для инференса нужны PyTorch, Diffusers, Transformers, Accelerate и Safetensors.










Комментарии