Budget3D-Idol-Turbo
быстрая 3D-генерация по картинке с гибким бюджетом токенов
2 min readupdated
Модель превращает одно изображение в 3D-объект в формате Gaussian splat (метод представления трёхмерных сцен из полупрозрачных эллипсоидов) всего за 5 шагов сэмплинга. Она основана на speridlabs/idol-turbo (407 млн параметров) и создана независимым проектом BudgetAny на базе идеи адаптивной токенизации из статьи BudgetPix. Главная фишка — вы сами задаёте бюджет токенов перед генерацией: однородные области и пустое пространство объединяются в более крупные токены, благодаря чему расчёты ускоряются без смены весов модели. Подойдёт 3D-художникам, разработчикам игр и исследователям, которым важна скорость прототипирования.
Ключевые особенности
- Один чекпоинт под любую нагрузку: доля активных токенов регулируется параметром
--budgetот 0.0625 до 1 (от 819 до 8 192 токенов). - Работа за 5 шагов: наследует от Idol-turbo дистиллированный режим сэмплинга без classifier-free guidance (дополнительного прогона для усиления соответствия запросу).
- Ускорение до 3.22×: при бюджете 10% сэмплинг одного объекта занимает 0.15 с вместо 0.48 с при полном объёме токенов.
- Совместимость с базой: энкодеры изображений (DINOv3 ViT-H+/16) и декодеры гауссиан (FLUX.2 VAE) используются от оригинального Idol без изменений.
Что можно сделать
- Генерировать 3D-ассеты в формате
.plyиз одиночных фотографий или рендеров для последующей работы в 3D-редакторах и движках. - Делать быстрые черновые 3D-наброски на низком бюджете токенов (10–30%) для отбора удачных ракурсов, а финальный вариант прогонять на 100%.
- Встраивать в пайплайны пакетной генерации 3D-моделей с флагом
--fast(bf16, cuDNN fused attention и torch.compile) для экономии видеопамяти и времени.
Пример
git clone [https://github.com/BudgetAny/Budget3D](https://github.com/BudgetAny/Budget3D) && cd Budget3D
hf download BudgetAny/Budget3D-Idol-Turbo budget3d_idol_turbo.safetensors --local-dir weights
python scripts/sample.py --ckpt weights/budget3d_idol_turbo.safetensors --turbo --image photo.jpg --budget 0.5 --out photo.plyПодробнее
Бенчмарки (NVIDIA RTX PRO 6000, батч 8, 5 шагов Euler): 100% токенов (8 192) — 0.48 с на объект и 8.0 ГБ VRAM; 50% (4 096) — 0.27 с (1.74× быстрее) и 6.9 ГБ VRAM; 10% (819) — 0.15 с (3.22× быстрее) и 6.0 ГБ VRAM.Полный цикл (end-to-end) включает декодирование гауссиан (0.92 с) и рендер 72-кадрового облёта (2.25 с), которые не зависят от бюджета.
Вес файла: 1.63 ГБ (fp32 EMA, 407M параметров). Лицензия чекпоинта: Apache-2.0 (для запуска отдельно подгружаются DINOv3 и FLUX.2 VAE со своими лицензиями).










Comments