TripoSplat-diffusers-3d

Конвертация VAST-AI/TripoSplat в пайплайн diffusers-3d от suvadityamuk. Модель на ~0,37 млрд параметров превращает изображение в Gaussian splat; компоненты оформлены как обычные папки Diffusers и Transformers, поэтому удалённый код не требуется.

⚙ Ключевые особенности

• ⚙ Пайплайн AutoPipelineForImageTo3D: обычные папки компонентов Diffusers/Transformers, без remote code.
• 🖥 Все сети работают в plain PyTorch на CPU или GPU; рендер splats требует опциональный gsplat.
• 🔒 DINOv3 и FLUX.2 VAE не включены: грузятся из оригинальных репозиториев на закреплённой ревизии, нужны лицензии и hf auth login.
• ✏ Если у входа нет alpha, фон вырезается BiRefNet; pipeline.disable_background_removal() отключает шаг.
• 📌 Выход — GaussianSplatAsset (SH degree 0, куб [-0.5, 0.5]^3, Z-up); по умолчанию 20 шагов, guidance 3.0, 262144 Gaussians.

💻 Пример

import torch
from diffusers_3d import AutoPipelineForImageTo3D, ImageCondition

pipeline = AutoPipelineForImageTo3D.from_pretrained('suvadityamuk/TripoSplat-diffusers-3d').to('cuda')
splat = pipeline(ImageCondition(image=rgba), generator=torch.Generator('cuda').manual_seed(42)).objects[0]

Подробнее

Бенчмарков в карточке нет. Запуск: CPU или GPU на чистом PyTorch; для рендера Gaussian splats нужен опциональный gsplat, для PBR-меша TRELLIS.2 — CuMesh.
DINOv3 и FLUX.2 VAE не входят в репозиторий: нужны лицензии и hf auth login. Веса TripoSplat — MIT; сторонние компоненты — под своими лицензиями.
По умолчанию 20 шагов, guidance 3.0, 262144 Gaussians; без dtype компоненты грузятся в родной точности, для CPU можно dtype=torch.float32.