RRSD
официальные LoRA-адаптеры для улучшения Stable Diffusion 3.5 Medium
2 мин чтенияобновлено
Набор из двух LoRA (небольших подключаемых надстроек над базовой моделью) от автора WeiChow для генератора изображений Stable Diffusion 3.5 Medium (SD3.5-M). Адаптеры обучены по новому методу пост-обучения Relative Reward Self-Distillation (RRSD), который подтягивает качество картинок с помощью безградиентной самодистилляции по нескольким метрикам наград одновременно. Главное отличие от базовой SD3.5-M — модель стабильно работает без CFG (Classifier-Free Guidance — стандартного механизма усиления следования промпту, при guidance_scale=1.0), при этом заметно лучше собирает сложные композиции и читаемый текст на изображениях. Пригодится тем, кто использует SD3.5-M в diffusers и хочет поднять точность генерации и качество рендера надписей без смены базовых весов.
Ключевые особенности
- Два варианта на выбор: в репозитории лежат полная версия
RRSD(обучалась на 9 промежуточных состояниях на траекторию) и облегчённаяRRSD-Lite(4 состояния). - Обучение по четырём наградам сразу: адаптеры оптимизированы под общую целевую функцию
PickScore + HPSv2 + GenEval + OCR— это сразу влияет на эстетику, соответствие тексту и читаемость надписей. - Работа без CFG: оба чекпоинта рассчитаны на запуск с
guidance_scale=1.0и детерминированным солвером Euler ODE (40 шагов). - Свободная лицензия на веса: сами LoRA-адаптеры (формат PEFT
safetensors, rank 32,lora_alpha=64) выпущены под Apache-2.0.
Что можно сделать
- Генерировать иллюстрации с читаемым текстом: адаптеры заметно поднимают точность OCR (распознавания текста на картинке) — можно делать постеры, обложки и предметы с вывесками или баннерами прямо внутри промпта.
- Собирать сложные многообъектные сцены: благодаря оптимизации под GenEval модель точнее соблюдает количество, расположение и свойства объектов в кадре.
- Ускорить генерацию в SD3.5-M: поскольку
guidance_scale=1.0отключает второй проход для негативного промпта при CFG, пайплайн работает быстрее при высоком качестве картинки.
Пример
import torch
from diffusers import StableDiffusion3Pipeline
from peft import PeftModel
pipe = StableDiffusion3Pipeline.from_pretrained("stabilityai/stable-diffusion-3.5-medium", torch_dtype=torch.float16)
pipe.transformer = PeftModel.from_pretrained(pipe.transformer, "WeiChow/RRSD", subfolder="RRSD", is_trainable=False)
pipe = pipe.to("cuda")
image = pipe('A vintage brass compass resting on an old sea map with a banner reading "NORTHBOUND"', height=512, width=512, num_inference_steps=40, guidance_scale=1.0).images[0]
Подробнее
Бенчмарки на 512×512 (40 шагов Euler, guidance_scale=1.0): GenEval Overall (Micro) вырос с 0.2857 у базовой SD3.5-M (без CFG) до 0.7242 у RRSD-Lite и 0.7468 у RRSD.Точность OCR поднялась с 0.1246 до 0.8764 (RRSD-Lite) и 0.8923 (RRSD), а ImageReward — с -0.58 до 1.37 и 1.42 соответственно.
Обучение: 100 внешних раундов (115.2k траекторий), 185 H100 GPU-часов для RRSD-Lite и 375 H100 GPU-часов для RRSD.
Лицензия: Apache-2.0 на адаптеры, базовый чекпоинт SD3.5-M регулируется Stability AI Community License.










Комментарии