DeFLOCNet
восстановление участков фото по наброску и цвету
2 мин чтенияобновлено
DeFLOCNet решает задачу инпейнтинга (закрашивания и восстановления пропущенных или скрытых областей изображения) в разрешении 256 × 256 пикселей. В отличие от обычного заполнения по маске, модель позволяет дополнительно задать контуры скетчем и указать желаемые оттенки цветными штрихами. В репозитории от автора KumaPower доступны два чекпоинта на базе архитектуры sd_color_v2 — для крупных портретов и для повседневных сцен. Инструмент пригодится для точечной ретуши, редактирования деталей лиц и доработки композиции на небольших изображениях.
Ключевые особенности
- Два специализированных веса:
deflocnet-hdtf-step10000.ptобучен на обрезках лиц HDTF (10 000 шагов), аdeflocnet-general-step23500.pt— на смешанном датасете из Places2, Unsplash, T2I и HDTF (23 500 шагов). - Тройное управление: холст объединяет белую маску (область генерации), чёрные линии скетча и редкие цветовые подсказки.
- Сохранение оригинала: пиксели за пределами белой маски напрямую копируются из исходного изображения размером 256 × 256.
- Готовность к инференсу: файлы представляют собой FP32-чекпоинты генератора на PyTorch для локального запуска.
Что можно сделать
- Ретушь и правка портретов: использовать портретный чекпоинт с функцией автокадрирования лица, чтобы перерисовать черты или детали на крупном плане по контуру.
- Редактирование пейзажей и архитектуры: применить универсальный чекпоинт для замены объектов на фото зданий и природы с заданием нужного силуэта и палитры.
- Сравнение результатов в студии: протестировать оба чекпоинта на одном и том же снимке, маске и seed в веб-демо DeFLOCNet Studio перед локальной интеграцией.
Пример
Загрузите изображение в DeFLOCNet Studio, выберите режим Auto-frame portrait (для автокадрирования одного лица) или Use full image (для сцен и уже обрезанных портретов), закрасьте белой маской нужную область, добавьте чёрный скетч и цветовые штрихи — модель сгенерирует недостающий фрагмент и объединит его с нетронутыми пикселями исходника.
Подробнее
Архитектура:sd_color_v2 (метод DeFLOCNet впервые представлен на CVPR 2021).Формат и разрешение: FP32-чекпоинты генератора, фиксированный размер входа и выхода 256 × 256.
Обучение: 10 000 шагов (HDTF portrait) и 23 500 шагов (General scenes).
Инструкция по локальному запуску через командную строку размещена в GitHub-репозитории автора.










Комментарии