Japanese Anime Style InstructPix2Pix LoRA

LoRA-адаптер от parajiholkar поверх timbrooks/instruct-pix2pix. Модель обучена превращать реальные фотографии и портреты в японский аниме-стиль по текстовой инструкции. База — около 0.86B параметров, обучение заняло 250 шагов при разрешении 512×512.

🔥 Ключевые особенности

• 🤖 LoRA для image-to-image на базе InstructPix2Pix
• 👌 Преобразует фото и портреты в Japanese anime style по промпту
• 🚀 Запускается через diffusers; веса — pytorch_lora_weights.safetensors
• 🧐 Обучение: 250 шагов, 512×512, train_batch_size=1 и gradient_accumulation_steps=4
• 🫡 В карточке советуют при артефактах снизить вес адаптера, например до 0.7

👀 Пример

import torch
from diffusers import StableDiffusionInstructPix2PixPipeline
pipe = StableDiffusionInstructPix2PixPipeline.from_pretrained(
    "timbrooks/instruct-pix2pix", torch_dtype=torch.float16, safety_checker=None
).to("cuda")
pipe.load_lora_weights("parajiholkar/japanese-anime-instruct-pix2pix-lora", weight_name="pytorch_lora_weights.safetensors")
image = pipe(prompt="Generate image for Japanese anime style", image=input_image, num_inference_steps=30, image_guidance_scale=1.5, guidance_scale=7.5).images[0]

Подробнее

Обучение: 250 шагов, разрешение 512×512, batch size 1 с gradient accumulation 4.
Инференс в карточке: 30 шагов, image_guidance_scale=1.5, guidance_scale=7.5.
Рекомендация: подавать изображения около 512×512.
Бенчмарков и требований к VRAM в карточке нет.