SDXL InstructPix2Pix 768

SDXL InstructPix2Pix 768 — экспериментальный файнтюн Stable Diffusion XL, обученный редактировать изображения по текстовой инструкции в стиле InstructPix2Pix. Опубликован Jinstudio; размер — около 2,57 млрд параметров, разрешение — 768×768. Подходит для задач вроде замены неба, смены стиля или возраста человека на фото.

⚡ Ключевые особенности

• ✨ Редактирует изображение по текстовой инструкции: например, «Turn sky into a cloudy one» или «Make it a picasso painting».
• 🖥 Работает через StableDiffusionXLInstructPix2PixPipeline в diffusers.
• 🔄 Поддерживает параметры guidance_scale и image_guidance_scale для управления результатом.
• 📊 Обучен на датасете timbrooks/instructpix2pix-clip-filtered за 15 000 шагов.
• ⚠ Автор называет чекпойнт экспериментальным и отмечает, что есть простор для улучшений.

💡 Пример

import torch
from diffusers import StableDiffusionXLInstructPix2PixPipeline
from diffusers.utils import load_image
pipe = StableDiffusionXLInstructPix2PixPipeline.from_pretrained("diffusers/sdxl-instructpix2pix-768", torch_dtype=torch.float16).to("cuda")
image = load_image("mountain.png").resize((768, 768))
out = pipe(prompt="Turn sky into a cloudy one", image=image, guidance_scale=3.0, image_guidance_scale=1.5, num_inference_steps=30).images[0]
out.save("edited.png")

Подробнее

Обучение: 15 000 шагов, learning rate 5e-6, разрешение 768×768, датасет timbrooks/instructpix2pix-clip-filtered.
Железо: одна машина 8×A100, FP16, суммарный batch size 32.
Статус: экспериментальный чекпойнт, автор предупреждает о возможных улучшениях.
Параметров: около 2,57 млрд.