MOSS-Image-heal

Это text-to-image модель на базе MOSS-Image-Base: полный файнтюн transformer-части примерно на 5.08 млрд элементов. Текстовый энкодер, tokenizer, VAE, scheduler и код pipeline взяты из официальной MOSS-Image-Base.

▶ Ключевые особенности

• ▶ Обучен только transformer; text refiner заморожен и сохраняет значения базы.
• ➖ Residual stream заметно спокойнее: максимальное |x| — 3,083 против 58,411 у базы, RMS в среднем по блокам — 3.70 против 27.75.
• ➕ Веса без экстремальных выбросов: каждый элемент в пределах 64x RMS своего тензора; у базы выше 64x было 349 элементов, у heal — 0.
• 🟰 Выходы близки к базе: flow loss 0.4289 против 0.4280, velocity cosine 0.9983.
• ✖ Есть файлы для diffusers и ComfyUI: bf16, fp16 и int8 ConvRot.
• 🔜 Обучение: 50 000 шагов по 64 сэмпла, AdamW с lr 1e-5, около 200 GPU-часов на B300.

➕ Пример

Фрагмент diffusers-примера из карточки — подстановка обученного transformer:

MOSSImageTransformer = importlib.import_module(type(pipe).__module__).MOSSImageTransformer
pipe.transformer = MOSSImageTransformer.from_pretrained(
    "KBlueLeaf/MOSS-Image-heal", subfolder="transformer", torch_dtype=torch.bfloat16
)

Подробнее

Бенчмарки: flow loss 0.4289 против 0.4280, velocity cosine 0.9983, максимальное значение stream 3,083 против 58,411.
Файлы: bf16 и fp16 для ComfyUI, int8 ConvRot; diffusers-трансформер в bf16.
Для ComfyUI нужны официальные qwen3.5_9b text encoder и flux2-vae_small.safetensors; VRAM в карточке не указан.
Лицензия Apache-2.0; данные — около 1M danbooru posts и GBC-капшены.