Kromoss

Kromoss — полный файнтюн MOSS-Image-Base на 1024 px (5.08B параметров) от MOSSImageclom. Архитектура, пайплайн, текстовый энкодер Qwen3.5-9B и VAE FLUX.2 small decoder совпадают с MOSS-Image-SFT — это drop-in замена. Главное исправление — размытость Base.

⚙ Ключевые особенности

• ⚙ Полный файнтюн всех параметров transformer на 1024 px; обучение на 320k изображений.
• ⚡ В комплекте 8-шаговый turbo LoRA: DMD-дистилляция, 8 steps, CFG 1, без negative branch.
• 🌐 Совместим с diffusers и ComfyUI; есть bf16- и int8-файлы, текстовый энкодер и VAE.
• 🔬 int8 ConvRot W8A8: 5.4 GB, с per-row scales и онлайн-поворотом Hadamard.
• 🗜 Скрипты convert_to_comfy.py и quantize_convrot.py конвертируют свои MOSS-Image файнтюны.

🧩 Пример

from diffusers import DiffusionPipeline
import torch
pipe = DiffusionPipeline.from_pretrained(
    "MOSSImageclom/Kromoss", custom_pipeline="pipeline_moss_image",
    trust_remote_code=True, torch_dtype={"default": torch.bfloat16, "vae": torch.float32},
).to("cuda")
img = pipe("a tabby cat holding a sign that says KROMOSS", height=1024, width=1024,
           num_inference_steps=50, guidance_scale=3.0).images[0]

Подробнее

PartiPrompts CLIP ViT-L/14 (100 промптов): Kromoss + LoRA — 27.82, Base — 27.19; Kromoss без LoRA — 26.88, но замер на update 2000.
Опубликован update 5000 EMA; обучение — 320k изображений, 1024 px.
LoRA не стоит мержить в bf16-веса: дельта близка к шагу округления bf16.
VRAM в карточке не указана; int8-файл для ComfyUI — 5.4 GB.