MOSS AnyPaint
быстрый inpainting и outpainting за 8 шагов
2 мин чтенияобновлено
Адаптер для генеративной модели OpenMOSS-Team/MOSS-Image-Base от автора yijunwang2, который добавляет поддержку inpainting (перерисовки выделенных областей), outpainting (дорисовки фона за границами кадра) и точечного редактирования по произвольным бинарным маскам. В отличие от обычных текстовых LoRA (лёгких надстроек над базовой моделью), AnyPaint использует специальный пайплайн с привязкой референса и сохранением неизменных областей на каждом шаге деноизинга. Для быстрой генерации за 8 шагов адаптер работает в связке с комьюнити-модулем дистилляции Base 8-step DMD2. Инструмент пригодится дизайнерам, иллюстраторам и тем, кто собирает пайплайны редактирования фото в Python или ComfyUI.
Ключевые особенности
- Инференс за 8 шагов: работает с сэмплером Flow-matching Euler (CFG 1, shift 5) при использовании адаптера DMD2.
- Сложные и разорванные маски: справляется с тонкими объектами, несколькими несвязанными зонами и правками на стыке исходного кадра.
- Готовая интеграция с ComfyUI: автор опубликовал отдельные кастомные ноды и готовый workflow для удобной работы без консоли.
- Экономия памяти: замороженные веса DiT и текстового энкодера квантованы в
qfloat8, сам адаптер весит немного (rank 32, BF16), а VAE работает в FP32.
Что можно сделать
- Заменять и добавлять объекты: выделить нужную зону маской и вписать в интерьер новые предметы, аксессуары или детали одежды с сохранением общего освещения.
- Расширять границы холста: дорисовать пейзаж, архитектурную сцену или иллюстрацию в любую сторону, задав координаты исходника через
--bbox. - Встроить в ComfyUI: подключить стандартные ноды IMAGE/MASK к кастомным узлам AnyPaint для пакетной ретуши или генерации каталожных фото.
Пример
hf download yijunwang2/moss-anypaint --local-dir moss-anypaint
python example.py --source showcase/12_desk_objects_source.webp \
--mask showcase/12_desk_objects_mask.png --output result.png --seed 2026 \
--prompt "a clean oak writing desk in a softly lit home office with a handmade dark green ceramic mug"
Подробнее
Обучение и параметры: 4303 шага, rank 32 / alpha 32 (BF16), разрешение холста — кратное 16 (протестировано в диапазоне 1–2.6 Мп).Железо: требуется Python 3.11+ и GPU NVIDIA с поддержкой BF16; проверено на RTX 5090 (32 ГБ VRAM), другие конфигурации пока не валидировались.
Ограничения: обычный загрузчик LoRA не подойдёт — нужен комплектный
pipeline.py или ноды ComfyUI; точное количество мелких объектов и геометрия могут меняться в зависимости от seed.









Комментарии