Anima Pixel Decoder
замена VAE-декодера для Anima DiT
2 мин чтенияобновлено
Модель представляет собой декодер на 25 млн параметров, который считывает признаки последнего слоя диффузионного трансформера Anima (DiT) на последнем шаге сэмплирования и сразу записывает RGB-пиксели. Это заменяет стандартный VAE-декодер, снижая потребление VRAM и ускоряя процесс работы. Архитектура основана на подходе FastFrames с использованием блоков ConvNeXt. Разработка полезна пользователям ComfyUI и anima_lora для более быстрой генерации изображений.
Ключевые особенности
- Ускорение декодирования: время декодирования сокращается со 141–151 мс до 7 мс.
- Экономия VRAM: пиковая память декодера снижается с 1.22–1.38 ГБ до 0.21–0.24 ГБ.
- Совместимость: работает с базовым DiT (Euler, 20–50 шагов) и 4-шаговым turbo-режимом (anima-turbo-42step).
- Высокое качество: показатель PSNR (пиковое отношение сигнала к шуму) по сравнению с обычным VAE составляет 36.9 дБ.
Что можно сделать
- Ускорить генерацию в ComfyUI: установить узел Anima Pixel Decoder, подключить пиксельный тап к модели перед KSampler и использовать декодирование пикселей вместо VAE.
- Запустить через anima_lora: использовать аргумент
--decoder pixel_headв скриптеinference.py. - Генерировать арты быстрее: комфортно создавать изображения разрешением 1024×1024 на видеокартах вроде RTX 5070 Ti с меньшей нагрузкой на память.
Пример
Пример использования в ComfyUI: добавьте узел Anima Pixel Head Tap на модель до KSampler, а затем декодируйте латент с помощью узла Anima Pixel Decode.
Подробнее
Файл весит 95 МБ (fp32, формат safetensors).Вход: признаки размером 2048-dim на токен.
Выход: патч 16×16 RGB на токен в диапазоне [-1, 1].
Ограничения: точки скринтонов и плотная штриховка могут сглаживаться в мягкие серые оттенки (на 1–2.5 уровня темнее VAE).
Лицензия: CircleStone Labs Non-Commercial License (коммерческое использование сгенерированных изображений разрешено).






Комментарии