LaRenderer
нейронный рендерер 3D-сцен с поддержкой FLUX.2
2 мин чтенияобновлено
LaRenderer преобразует 3D-сцену с материалами PBR, стеклом, зеркалами и точечными источниками света в качественное изображение с любой камеры. Архитектура использует кодирование сцены в разреженные воксели (с помощью TRELLIS.2 SC-VAE) и генерацию латентных представлений через flow-matching декодер с последующим декодированием в sRGB. Модель распространяется в виде полных весов учителя (teacher, 1.071B параметров) и дистиллированного одношагового студента (0.722B параметров), поддерживая четыре режима работы. Инструмент ориентирован на исследователей и разработчиков, занимающихся нейронным рендерингом и генерацией синтеческих 3D-сред.
Ключевые особенности
- Четыре режима инференса: гибкий выбор между 5-шаговой генерацией (включая pair-sync варианты) и сверхбыстрым одношаговым декодированием.
- Интеграция сторонних компонентов: модель опирается на мощные внешние сети, включая FLUX.2 VAE и TRELLIS.2 SC-VAE.
- Эффективная дистилляция: одношаговый студент использует общий с учителем кодировщик сцены для мгновенной генерации.
- Точная работа с физикой сцены: поддержка зеркал, стекла, точечных источников света и окружения через HDR-карты.
Что можно сделать
- Рендеринг синтеческих комнат: генерировать качественные изображения процедурно созданных сцен размером около 4 метров.
- Исследование алгоритмов: тестировать режимы 5-step и 1-step с pair-sync для оценки качества на бенчмарках.
- Интеграция в пайплайны: использовать веса совместно с репозиторием нейронного рендеринга для подготовки и рендера собственных сцен.
Пример
huggingface-cli download eternity304/LaRenderer --local-dir ./LaRenderer
python scripts/inference/prepare_scene.py --bundle my_scene --out shards/my_scene
python scripts/inference/larender_infer.py --release ./LaRenderer \
--flux2-vae ./deps/flux2_klein_4b/vae/diffusion_pytorch_model.safetensors \
--shard shards/my_scene/shard-00000.tar --mode 1step --out renders/my_sceneПодробнее
Бенчмарки (Caustic benchmark v1, 24 сцены / 72 вида, 512px): режим 1step_pairsync показывает лучшие результаты (PSNR 23.48, SSIM 0.910, LPIPS 0.121).Требования к железу и зависимостям: требуются сторонние сети (FLUX.2 VAE, TRELLIS.2 SC-VAE, Qwen-Image VAE), загружаемые отдельно.
Ограничения: модель обучена на комнатах размером около 4 метров, не поддерживает HDR-вывод (выдает display-referred AgX sRGB) и имеет артефакты при близком расположении света к поверхностям.








Комментарии