UGG

UGG — видео-диффузионная модель от amanim71, которая одновременно генерирует RGB-кадры, лучи камеры и глубину. Она построена на Wan2.2-TI2V-5B и расширена до mixture of transformers с экспертами RGB, ray и depth; всего 12,6 млрд параметров. Один чекпойнт покрывает шесть задач 4D-реконструкции и генерации.

▶ Ключевые особенности

• ▶ Принимает любое подмножество трёх модальностей — RGB, depth и camera rays — и достраивает недостающее.
• 🟰 Шесть режимов: video→4D, image+camera→4D, first/last image+camera→4D, text→4D, camera→4D и depth→4D.
• 🔤 Архитектура: mixture of transformers с отдельными экспертами RGB, ray и depth на базе Wan2.2-TI2V-5B.
• ➕ В комплекте полный трансформер в bf16 и статистики нормализации латентов VAE; VAE и UMT5-XXL подтягиваются из базовой модели.
• 🔙 Выход — RGB, depth, c2w и intrinsics; разрешение 288×384.

➕ Пример

from ugg import UGG

model = UGG.from_pretrained()
pred = model.video_to_4d("clip.mp4")
pred.save("outputs/clip")

Подробнее

В карточке нет бенчмарков; заявлены шесть задач и общий чекпойнт на 12,6 млрд параметров.
Инференс требует одну GPU с 80 ГБ.
Выходное разрешение — 288×384; длина клипа должна удовлетворять num_frames % 4 == 2.
Веса UGG — MIT; компоненты Wan2.2 распространяются по своей лицензии. Код, сэмплы и рецепт обучения — в GitHub.