LibreImageDream
из одного фото в 3D через мультивью-диффузию
1 min readupdated
LibreImageDream — перепакованная версия ImageDream (Peng Wang и Yichun Shi) в формате diffusers для LibreYOLO. По одному изображению объекта модель сэмплирует четыре вида вокруг него, а семейство LibreLGM превращает их в 3D Gaussian splats. В основе — multi-view UNet на 1.3B параметров с resampler, VAE и текстовый энкодер Stable Diffusion 2.1, а также image encoder LAION CLIP-ViT-H-14.
Ключевые особенности
- Это зеркало: файлы byte-identical upstream, без переобучения и конвертации.
- Из одного изображения модель строит четыре ракурса для 3D-генерации.
- Multi-view UNet с image-prompt веткой: 1.3B параметров с resampler.
- В комплекте компоненты SD 2.1: VAE, OpenCLIP ViT-H/14 и DDIM scheduler.
- Лицензия CreativeML OpenRAIL++-M с use restrictions.
Пример
from libreyolo import LibreGen
model = LibreGen("lgm") # downloads this repo and LibreLGM0.4b
model("chair.jpg").save("chair.ply")
Подробнее
Модель не новая: это mirror upstream, без retraining и изменений весов.Для работы нужен LibreLGM0.4b — вместе они дают 3D Gaussian splats.
Лицензия CreativeML OpenRAIL++-M запрещает незаконный контент, вред несовершеннолетним, диффамацию, харассмент, дискриминацию и медицинские советы.
Бенчмарков и требований к VRAM в карточке нет.










Comments