Kromoss
полный файнтюн MOSS-Image и 8-шаговый LoRA
1 min read
Kromoss — полный файнтюн MOSS-Image-Base на 1024 px (5.08B параметров) от MOSSImageclom. Архитектура, пайплайн, текстовый энкодер Qwen3.5-9B и VAE FLUX.2 small decoder совпадают с MOSS-Image-SFT — это drop-in замена. Главное исправление — размытость Base.
Ключевые особенности
- Полный файнтюн всех параметров transformer на 1024 px; обучение на 320k изображений.
- В комплекте 8-шаговый turbo LoRA: DMD-дистилляция, 8 steps, CFG 1, без negative branch.
- Совместим с diffusers и ComfyUI; есть bf16- и int8-файлы, текстовый энкодер и VAE.
- int8 ConvRot W8A8: 5.4 GB, с per-row scales и онлайн-поворотом Hadamard.
- Скрипты convert_to_comfy.py и quantize_convrot.py конвертируют свои MOSS-Image файнтюны.
Пример
from diffusers import DiffusionPipeline
import torch
pipe = DiffusionPipeline.from_pretrained(
"MOSSImageclom/Kromoss", custom_pipeline="pipeline_moss_image",
trust_remote_code=True, torch_dtype={"default": torch.bfloat16, "vae": torch.float32},
).to("cuda")
img = pipe("a tabby cat holding a sign that says KROMOSS", height=1024, width=1024,
num_inference_steps=50, guidance_scale=3.0).images[0]
Подробнее
PartiPrompts CLIP ViT-L/14 (100 промптов): Kromoss + LoRA — 27.82, Base — 27.19; Kromoss без LoRA — 26.88, но замер на update 2000.Опубликован update 5000 EMA; обучение — 320k изображений, 1024 px.
LoRA не стоит мержить в bf16-веса: дельта близка к шагу округления bf16.
VRAM в карточке не указана; int8-файл для ComfyUI — 5.4 GB.










Comments