NitroFusion2-Controlnet-Union
универсальный контроль генерации за 1–2 шага
2 мин чтенияобновлено
Универсальный ControlNet-адаптер (модуль для точного управления композицией, позами и контурами при генерации картинок) от автора ChenDY. Модель построена на базе Z-Image-Turbo-Fun-Controlnet-Union-2.1 (версия 2602) и специально дообучена под быстрый чекпоинт NitroFusion2 для сверхбыстрого инференса всего за 1 или 2 шага. В отличие от обычного Union 2.1, эта версия адаптирована под малое число шагов и корректно работает в связке с NitroFusion2 без потери управляемости. Пригодится всем, кто генерирует изображения в ComfyUI и хочет мгновенно задавать позу, глубину или контур.
Ключевые особенности
- 7 режимов в одном файле: поддерживает Canny, HED, Depth, Pose, Scribble, Gray и инпейнтинг (дорисовку областей).
- Работа за 1–2 шага: оптимизирован специально под сверхбыструю генерацию в NitroFusion2.
- Две версии на выбор: стандартная модель (15 контрольных блоков + 2 блока уточнения) и облегчённая
lite-версия (3 контрольных блока + 2 блока уточнения) для экономии видеопамяти. - Готовые пайплайны: в репозитории уже лежат готовые JSON-воркфлоу для ComfyUI под 1 и 2 шага.
Что можно сделать
- Мгновенно переносить позы и композицию: использовать карты
Pose,Depthили контурыCanny/HEDв связке с базовой модельюNitroFusion2для быстрой отрисовки сцен за 1–2 прохода. - Комбинировать условия с дорисовкой: совмещать контроль позы и инпейнтинг (
Pose + Inpaint) для точечного редактирования персонажей на готовых кадрах. - Запускать на видеокартах с меньшим объёмом VRAM: выбрать облегчённый файл
NitroFusion2-Controlnet-Union-lite.safetensors, если стандартная версия занимает слишком много памяти.
Пример
Готовые графы для запуска в ComfyUI находятся прямо в репозитории: workflows/nitrofusion2_controlnet_1step.json для генерации в 1 шаг и workflows/nitrofusion2_controlnet_2step.json для генерации в 2 шага. В качестве базовой модели в них обязательно указывается NitroFusion2, а на вход подаются карты Pose, Canny, HED, Depth, Scribble, Gray или маска для инпейнтинга.
Подробнее
Архитектура: файнтюн Z-Image-Turbo-Fun-Controlnet-Union-2.1 (2602) под NitroFusion2.Доступные веса: полная версия (15 control layer blocks + 2 refiner blocks) и lite-версия (3 control layer blocks + 2 refiner blocks, слабее контроль, но меньше расход памяти).
Ограничения: работает строго с базовой моделью NitroFusion2.
Лицензия: Apache 2.0.










Комментарии