MOSS-Image-SFT

MOSS-Image-SFT — дообученная с учителем text-to-image модель семейства MOSS-Image от OpenMOSS, построенная на MOSS-Image-Base. Архитектура и пайплайн те же; заявлена поддержка естественного языка, тегов и JSON-раскладок для контроля текста и расположения объектов. Размер — около 5,08 млрд параметров.

🧐 Ключевые особенности

• 🧐 SFT-версия MOSS-Image-Base: в примере карточки даёт более чёткую группировку текста и аккуратную раскладку.
• 🤖 Понимает обычные текстовые промпты, последовательности тегов и JSON-layout для управления положением текста и объектов.
• 👀 Layout задаётся через summary.caption и items, формат bbox — yxyx, координаты — abs_centralized.
• 🔥 По умолчанию: Flow-matching Euler, 50 шагов, CFG 3, shift 5; можно отключить пропуск слоя negative branch.
• 🚀 Есть Gradio, CPU offload, компиляция и нативный плагин для ComfyUI через ComfyUI Manager.
• 💯 Лицензия Apache 2.0; языки в метаданных — английский и китайский.

🔥 Пример

from diffusers import DiffusionPipeline
import torch
pipe = DiffusionPipeline.from_pretrained(
    "OpenMOSS-Team/MOSS-Image-SFT",
    custom_pipeline="pipeline_moss_image",
    trust_remote_code=True,
    torch_dtype={"default": torch.bfloat16, "vae": torch.float32},
).to("cuda")

Подробнее

5,08 млрд параметров; базовая модель — MOSS-Image-Base.
По умолчанию: Flow-matching Euler, 50 шагов, CFG 3, shift 5.
Python API: размеры изображения кратны 16; transformer и text encoder в bfloat16, VAE и начальный шум во float32.
Лицензия Apache 2.0; языки — английский и китайский.