SD15 no-VAE DWD
генерация изображений без VAE
1 мин чтенияобновлено
Эта модель представляет собой модификацию известной базовой модели DreamShaper 8 LCM, адаптированную для прямого предсказания пикселей с помощью метода DWD (Decoding Without a Decoder). На выходе модель прогнозирует паттерны пикселей в цветовом пространстве Oklab и конвертирует их в RGB. Главная особенность заключается в том, что текстовая генерация (text-to-image) выполняется полностью без использования VAE (Variational Autoencoder, компонента для кодирования и декодирования изображений). Инструмент пригодится разработчикам и энтузиастам, экспериментирующим с архитектурами диффузионных моделей.
Ключевые особенности
- Создана на базе DreamShaper 8 LCM с обучением в течение 10 000 шагов.
- Предикт пиксельных паттернов Oklab с последующим переводом в RGB.
- Отсутствие необходимости в отдельном модуле VAE при инференсе.
- В состав экспорта входят U-Net, обученный EMA хвост, пиксельная голова, текстовый энкодер CLIP и шедулер LCM.
Что можно сделать
- Сгенерировать реалистичные пейзажи, портреты и натюрморты по текстовому описанию без подключения VAE.
- Протестировать альтернативный метод декодирования изображений (DWD) на практике.
- Интегрировать модель в кастомные пайплайны генерации графики на базе Diffusers.
Пример
pip install diffusers==0.35.2 transformers==4.57.6 accelerate==1.11.0
hf download ApacheOne/SD15_no_vae_dwd_trained dreamshaper_dwd.py dwd_inference.pt --local-dir ./sd15_dwd
python ./sd15_dwd/dreamshaper_dwd.py infer --checkpoint ./sd15_dwd/dwd_inference.pt --prompt "An old stone lighthouse by a stormy sea" --guidance 2 --seed 42 --output lighthouse.pngПодробнее
Бенчмарки: галерейное разрешение 512×512, 8 шагов LCM-оценки, CFG 2.Обучение: 10 000 итераций.
Лицензия: CreativeML Open RAIL-M.










Комментарии