Qwen-Image-2.1 DMD2 2-step LoRA

LoRA-адаптер от linoyts для Qwen/Qwen-Image-2.1, дистиллированный методом DMD2. Превращает 20-шаговую генерацию базовой модели в 2 forward-pass, сохраняя качество редактирования по инструкции и text-to-image близким к teacher. Подходит для real-time и интерактивных пайплайнов.

✨ Ключевые особенности

• 🔥 Всего 2 шага инференса: фиксированные sigmas [1.0, 0.5] и true_cfg_scale=1.0.
• 🖼 Сохраняет редактирование по инструкции и text-to-image близко к 20-шаговому teacher.
• ✨ LoRA rank 32, alpha 32, только attention-слои: to_q, to_k, to_v, to_out.0.
• 📌 Мультиреференсная композиция: список изображений в prompt как Picture 1, Picture 2 и далее.
• ✅ V1.5 checkpoint: улучшены следование промпту и точность редактирования; weight_name=pytorch_lora_weights_v1_5.safetensors.

💻 Пример

import torch
from diffusers import QwenImage21Pipeline, FlowMatchEulerDiscreteScheduler
pipe = QwenImage21Pipeline.from_pretrained("Qwen/Qwen-Image-2.1", torch_dtype=torch.bfloat16).to("cuda")
pipe.scheduler = FlowMatchEulerDiscreteScheduler.from_config(pipe.scheduler.config, use_dynamic_shifting=False, shift=1.0, shift_terminal=None)
pipe.load_lora_weights("linoyts/Qwen-Image-2.1-DMD2-2steps")
out = pipe(prompt="Turn this into a claymation character", image=image, num_inference_steps=2, sigmas=[1.0, 0.5], true_cfg_scale=1.0).images[0]

Подробнее

Обучение: DMD2, multi-aspect ~1 MP, 2000 шагов на одной H100.
Инференс: 2 шага, фиксированные sigmas [1.0, 0.5], без CFG (true_cfg_scale=1.0).
Лицензия Qwen Research: только non-commercial research and evaluation; для коммерции нужно отдельное разрешение Qwen.