Idol Diffusers

Это Diffusers-конвертация speridlabs/idol от OzzyGT для генерации 3D Gaussian splat по одному изображению. В репозитории только веса и конфиги: denoiser, octree decoder, Gaussian decoder и два энкодера — DINOv3 и FLUX.2 VAE. Размер — около 0.37B параметров.

🔥 Ключевые особенности

• 🔥 Генерирует 3D Gaussian splat по одному изображению — single-image image-to-3D.
• ✨ Модульный pipeline Idol Modular Diffusers: код и веса разделены между репозиториями.
• 🐾 На выходе — активированные Gaussians (positions, colors, scales, rotations, opacities) и предсказанная камера, а не готовый файл.
• 📷 Вход: подготовленное изображение 1024×1024, объект вырезан с запасом и на чёрном фоне.
• 💻 Запуск на CUDA в bfloat16; в примере используется trust_remote_code=True.

💻 Пример

import torch
from diffusers import ModularPipeline
from diffusers.utils import load_image

pipe = ModularPipeline.from_pretrained("OzzyGT/idol_custom_blocks", trust_remote_code=True)
pipe.load_components(dtype=torch.bfloat16)
pipe.to("cuda")
result = pipe(image=load_image("input.png"), generator=torch.Generator("cuda").manual_seed(42), output=["gaussians", "camera_latents"])

Подробнее

Веса: Apache-2.0 от speridlabs/idol; DINOv3 — отдельная лицензия, FLUX.2 VAE — Apache-2.0 без изменений.
Репозиторий содержит только веса и конфиги; для запуска нужен репозиторий блоков OzzyGT/idol_custom_blocks.
Пример в карточке: seed 42, 50 шагов, 262 144 Gaussians; результат сохраняется в .ply через отдельный recipe.
Требования к VRAM в карточке не указаны; trust_remote_code=True выполняет код с Hub — используйте только доверенные репозитории.