moss_pht_lora

LoRA ранга 128 от data-archetype для text-to-image модели OpenMOSS-Team/MOSS-Image-Base. Адаптер меняет только transformer, а текстовый энкодер Qwen3.5-9B, VAE FLUX.2 small decoder, токенизатор, scheduler и пайплайн остаются из базового релиза. Веса доступны в формате PEFT для Diffusers и в виде safetensors для ComfyUI.

➕ Ключевые особенности

• ➕ Адаптирует только transformer: q, k, v, o, ffn_up_gate и ffn_down всех 42 блоков; текстовый энкодер и VAE заморожены.
• 1⃣ LoRA rank 128, alpha 128; адаптер применяется unmerged при strength 1.
• 2⃣ Два формата: PEFT LoRA для Diffusers и ComfyUI LoRA в kohya layout.
• 3⃣ Обучение: 5 500 шагов по 32 изображения, около 1 мегапикселя, captions до 2 048 токенов.
• 4⃣ Авторы рекомендуют DMD LoRA от MOSS-Image-Base: она стабилизирует генерации и делает распределение выходов резче.

🔤 Пример

from peft import PeftModel
transformer = PeftModel.from_pretrained(
    transformer, 'data-archetype/moss_pht_lora', subfolder='transformer'
).get_base_model()
image = pipe('A candid street photograph of a cyclist crossing a rain-soaked intersection at dusk',
             height=1024, width=1024, num_inference_steps=50,
             guidance_scale=3.0, uncond_skip_layers=[22]).images[0]

Подробнее

Бенчмарков в карточке нет.
Точный объём VRAM не указан: в примере pipe.to('cuda') или enable_model_cpu_offload() для меньшей GPU.
Обучение: 5 500 шагов по 32 изображения, около 1 мегапикселя, captions до 2 048 токенов; LoRA rank 128, alpha 128.
Базовая модель с обычным multi-step сэмплером может быть нестабильной — авторы рекомендуют DMD LoRA. Лицензия Apache 2.0.