IDOL для diffusers-3d

Это конвертация модели IDOL от Speridlabs в pipeline diffusers-3d: обычные папки компонентов Diffusers и Transformers, которые загружает установленный пакет. Около 0.37 млрд параметров, задача image-to-3D, архитектура наследует TripoSplat. Remote code не требуется.

🔥 Ключевые особенности

• 🤖 Генерирует Gaussian splat из изображения и сохраняет в PLY; в metadata есть предсказанные yaw, pitch, radius и FOV входного вида.
• 🧐 Режимы real и synthetic: для фото кроп 1.7×, для рендеров — 1.2×.
• 😐 DINOv3 и FLUX.2 VAE не входят в репозиторий: это gated-веса, загружаются из оригинальных репозиториев на закреплённых ревизиях; нужно принять лицензии и выполнить hf auth login.
• 🚫 Без alpha-канала вход вырезается через BiRefNet; можно отключить через pipeline.disable_background_removal().
• 👌 По умолчанию 50 шагов, shift 3.0, 262144 гауссиана, guidance_scale=4.0.

🤖 Пример

import torch
from diffusers_3d import AutoPipelineForImageTo3D, ImageCondition

pipeline = AutoPipelineForImageTo3D.from_pretrained('suvadityamuk/idol-diffusers-3d').to('cuda')
splat = pipeline(ImageCondition(image=rgba), mode='real', generator=torch.Generator('cuda').manual_seed(42)).objects[0]
splat.save('object.ply')

Подробнее

Бенчмарков в карточке нет; заявлена parity-проверка с upstream-кодом.
Рендеринг Gaussian splats требует опциональный gsplat; PBR-меш для TRELLIS.2 — CuMesh.
Веса IDOL и код — Apache-2.0, архитектура TripoSplat — MIT; DINOv3 и FLUX.2 VAE под своими лицензиями.
Есть CPU/GPU на plain PyTorch; для CPU можно dtype=torch.float32.