DiTGS
3D-реконструкция по позам камер
1 min readupdated
DiTGS — исследовательский чекпоинт для 3D-гауссовой реконструкции сцен по изображениям с известными позами камер. Он основан на дообученном трансформере FlashWorld/Wan 2.2 и энкодере TokenGS, а код, установка и обучение вынесены в отдельный репозиторий. Это кастомная PyTorch-модель, а не Diffusers-пайплайн from_pretrained.
Ключевые особенности
- Восстанавливает 3D-сцену по posed images и intrinsics/extrinsics камер, а не по неразмеченным изображениям.
- Чекпоинт объединяет дообученный FlashWorld/Wan transformer, замороженные Wan VAE и TokenGS image encoder, дообученный GS decoder/head и новый adapter.
- Включает независимые DiT-memory attention/KV/LayerScale ветки, кэш пустого промпта и буферы нормализации/rotary.
- Размер файла — около 22.055 ГБ; для инференса нужен CUDA GPU, но минимальные требования к VRAM в карточке не установлены.
- Лицензия CC BY-NC-SA 4.0: только некоммерческие академические исследования.
Пример
hf download qyk21/DiTGS --local-dir weights/ditgs
bash scripts/infer.sh 1 --checkpoint weights/ditgs/model.pt --data-root /path/to/DL3DV/benchmark --output outputs/residual/dl3dv_1view
Подробнее
Чекпоинт — raw final main-model после 10 000 warmup и 20 000 joint-обновлений; это не EMA и не ablation-чекпоинт.Бенчмарк DL3DV: 2-view индекс содержит 140 сцен и 50 целевых кадров на сцену; 1-view берёт первый контекстный кадр.
Инференс по умолчанию: 8 DiT camera slots, Euler NFE=1, seed=42, 256x448, без test-time optimization.
CUDA-проверки скорости и качества при публикации не перезапускались; минимальная VRAM не установлена.










Comments