Marigold V2 albedo (ComfyUI)
извлечение чистого цвета поверхностей без теней
2 мин чтенияобновлено
Набор готовых весов для оценки альбедо (базового цвета поверхности без учёта освещения, бликов и теней) на фотографиях. Сборка объединяет модель Marigold V2 от исследователей EPFL, HUAWEI Bayer Lab и Болонского университета с базовой архитектурой Qwen-Image-Edit-2509. В отличие от оригинального релиза, здесь базовый трансформер квантован в 4-битный формат NF4 (сжатие весов для снижения нагрузки на видеопамять), а все компоненты разложены по стандартным папкам ComfyUI. Релиз пригодится 3D-художникам, специалистам по фотограмметрии и всем, кто работает с переосвещением сцен в ComfyUI или приложении Askiagraphy.
Ключевые особенности
- Сжатый бэкбон NF4: трансформер
Qwen-Image-Edit-2509квантован в 4 бита через bitsandbytes (blocksize 64), при этом выходные проекции и нелинейные слои сохранены в bf16 для точности. - Структура под ComfyUI: файлы сразу распределены по директориям
diffusion_models,loras,vaeиembeddings. - Совместимость с Comfy-Org: LoRA-адаптер (небольшая надстройка над базовой моделью), дообученный декодер VAE и текстовый эмбеддинг побайтово совпадают с официальной сборкой от Comfy-Org.
- Свободная лицензия: модель распространяется под Apache License 2.0, что разрешает коммерческое использование.
Что можно сделать
- Извлекать чистые текстуры (albedo-карты) из обычных фотографий, убирая падающие тени и световые рефлексы.
- Использовать полученные карты базового цвета для последующего переосвещения объектов или создания материалов для 3D-сцен.
- Запускать пайплайн оценки альбедо локально в ComfyUI на видеокартах с ограниченным объёмом памяти за счёт 4-битного трансформера.
Пример
Для работы в ComfyUI скачайте файлы из репозитория и разложите их по соответствующим каталогам моделей:
models/diffusion_models/qwen_image_edit_2509_nf4.safetensors
models/loras/marigold_v2_albedo.safetensors
models/vae/marigold_v2_albedo_vae.safetensors
models/embeddings/marigold_v2_albedo_conditioning.safetensorsПодробнее
Базовые модели: huawei-bayerlab/marigold-v2-0 и Qwen/Qwen-Image-Edit-2509Квантование: bitsandbytes 0.48.2 (NF4, blocksize 64, без двойного квантования)
Лицензия: Apache License 2.0










Комментарии