MOSS-Image-IDM-2-Steps

Community-реализация Intrinsic Distribution Matching (IDM) для MOSS-Image: LoRA-адаптер, который генерирует 1024²-изображения за 2 прохода DiT без CFG. Обучен на базе OpenMOSS-Team/MOSS-Image-SFT; для text-to-image рекомендуется checkpoint v1 (runs/idm/export/000750).

🧩 Ключевые особенности

• ⚡ 2 прохода DiT на изображение 1024² вместо 100 у 50-шаговой модели с CFG 3.
• 🧩 IDM: fake-score flow matching, DMD-направление и L_pop EMA — без adversarial loss и дискриминатора.
• 🎯 Два checkpoint: v1 для text-to-image, v2 — экспериментальный folded-адаптер для attribute-редактирования.
• ⚙ LoRA r128; при inference LoRA и time path держать в fp32, база остаётся в bf16.
• 🛑 Структурные edit-операции (sketch→photo, colorize) на 2–4 шагах не работают; только attribute-level.

💡 Пример

pip install "diffusers>=0.38" "transformers>=5.3" accelerate safetensors huggingface_hub pillow
python inference.py --adapter-dir runs/idm/export/000750 --prompt 'A steaming bowl of ramen on a wooden counter, soft window light' --steps 2 --out out.png

Подробнее

Бенчмарк: 2 DiT forwards против 100 у MOSS-Image-SFT (50 steps, CFG 3) на 1024².
На 2 из 8 held-out dense-text промптов 2-step адаптеры обошли 50-step teacher; экспорты 250–750 конкурентны.
v2 edit-continuation ухудшил общий T2I — для генерации берите v1.
Обучение: IDM без adversarial loss и дискриминатора, LoRA r128, 3.2K промптов.