TRELLIS.2-4B (Lux3D)
генерация 3D-моделей из картинок в одном файле
2 min readupdated
Этот репозиторий содержит каноническую сборку весов модели microsoft/TRELLIS.2-4B от oxide-lab, подготовленную для локального запуска в движке Lux3D на языке Rust. Модель превращает обычное изображение в детализированный 3D-меш с текстурами и PBR-атрибутами (данными о материалах и отражении света) в форматах GLB, OBJ или PLY. В основе лежит архитектура O-Voxel (разреженное воксельное представление 3D-геометрии) и энкодер DINOv3 ViT-L/16. В отличие от оригинального релиза Microsoft, разбитого на девять отдельных файлов, здесь все 4265 тензоров объединены без потери точности в единый файл model.safetensors весом 15,07 ГиБ. Сборка пригодится 3D-художникам и разработчикам, которым нужен быстрый офлайн-инференс на видеокартах с 12 ГБ памяти без тяжёлого Python-окружения.
Ключевые особенности
- Единый файл весов: девять исходных шардов сведены побайтово с сохранением оригинальных типов данных (BF16, F16 и F32) и единым конфигом
resolved_config.json. - Два режима детализации: поддерживается быстрый пайплайн
512(только геометрия или с текстурой) и каскад1024_cascade, последовательно уточняющий форму и текстуры. - Кроссплатформенные бэкенды: рантайм Lux3D проверен на CPU, CUDA, Vulkan и WGPU с идентичной геометрией на выходе.
- Умеренный аппетит к памяти: благодаря последовательной загрузке стадий полный текстурированный каскад
1024_cascadeумещается в видеокарту уровня RTX 3060 12 ГиБ с запасом около 4 ГиБ.
Что можно сделать
- Создать готовый ассет для движка: прогнать картинку через каскад
1024_cascadeи получить GLB-модель с PBR-цветами вершин для Blender, Unity или Unreal Engine. - Быстро набросать болванку: запустить режим
--pipeline-type 512 --texture falseи за полминуты получить черновую геометрию в OBJ для дальнейшего скульптинга. - Встроить 3D-генерацию в сервис: поднять локальный HTTP-сервер Lux3D с автообнаружением модели удаления фона RMBG-2.0.
Пример
cargo run -p lux3d-cli --features cuda -- run trellis2 `
--model-path `
--rmbg-model-path `
--source `
--output
Подробнее
Вес файла: 15,07 ГиБ (4265 тензоров, общие параметры сборки — 7,79B).Железо: полный текстурированный прогон
1024_cascade (12 шагов) на RTX 3060 12 ГиБ занимает 438 сек, пик VRAM — ~7,8 ГиБ (выход: 645 960 вершин / 636 302 полигона).Ограничения: для RGB-картинок без альфа-канала отдельно требуется модель RMBG-2.0 (лицензия CC-BY-NC-4.0); UV-развёртка атласов, заполнение дыр и Metal пока не поддерживаются.










Comments