MOSS-Image SFT
4-Step Distillation LoRA — 4-шаговая LoRA для быстрой генерации
2 мин чтенияобновлено
Эта модель представляет собой LoRA (небольшую надстройку над базовой моделью) для OpenMOSS-Team/MOSS-Image-SFT, которая позволяет создавать изображения всего за 4 шага вместо 50 оригинальных. Она сокращает время работы видеокарты примерно в 14 раз, выдавая результат близкого к учителю качества с проработанной текстурой. Модель обучена на 15 000 примерах и поддерживает 12 разрешений вплоть до 1824×1024. Новинка пригодится пользователям ComfyUI и Python-разработчикам, которые хотят значительно ускорить генерацию картинок без потери детализации.
Ключевые особенности
- 4 шага при CFG 1 — всего 4 вызова модели вместо 100 у базового варианта (50 шагов по два вызова на CFG 3).
- В 14 раз меньше времени GPU — значительно ускоряет рендеринг изображений на той же конфигурации железа.
- Больше мелких деталей — сохраняет тон и стиль оригинальной модели, при этом текстура проработана на 1.22 раза подробнее.
- Точный текст — успешно справляется с генерацией написанных на картинке слов и надписей.
Что можно сделать
- Генерация в Python — подключить LoRA через библиотеку diffusers для быстрого создания картинок по текстовым промптам.
- Работа в ComfyUI — использовать готовые workflows (текст-в-картинку, редактирование, макеты) со специальным файлом для стандартного загрузчика.
- Создание постеров и вывесок — генерировать изображения с четким текстом, меню и этикетками.
Пример
import torch
import torch.nn.functional as F
from diffusers import DiffusionPipeline
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
pipe = DiffusionPipeline.from_pretrained(
"OpenMOSS-Team/MOSS-Image-SFT",
custom_pipeline="pipeline_moss_image",
trust_remote_code=True,
torch_dtype=dict(default=torch.bfloat16, vae=torch.float32),
)
pipe.to("cuda")
image = pipe(
"A snow leopard walking along a rocky ridge",
height=1024,
width=1024,
num_inference_steps=4,
guidance_scale=1.0,
).images[0]
image.save("moss_4step.png")
Подробнее
Метод: eDMD + LADD (дистилляция распределения с эндпоинт-критиком).Железо: обучено на одной NVIDIA B300 за ~30 часов, пиковое потребление памяти 196 ГБ.
Ограничения: на больших разрешениях толпа может выглядеть однородно, а темные сцены получаются немного светлее оригинальных.










Комментарии