StereoDiffGen

StereoDiffGen — анонимный релиз к заявке на CVPR 2027: диффузионная модель, которая по одному левому изображению и стереобазе в метрах генерирует правый вид. Работает без оценки глубины, warping и inpainting; денойзер — two-view latent diffusion U-Net в раскладке SD-2.1 с joint self-attention по токенам обоих видов.

🔥 Ключевые особенности

• 👁 На входе — левый кадр и baseline в метрах, на выходе — согласованный правый вид 768×768.
• 🦾 Совместное self-attention по токенам двух видов; conditioning — Plücker ray map, маска заданного вида, 16-d rig-pose и CLIP image token.
• 🎏 Стерео-декодер: SD-2 VAE с лёгкой LoRA и cross-view attention; LoRA хранится неслитой для бит-в-бит с пайплайном статьи.
• 🔥 Замороженный инференс: 25 шагов DPM-Solver++(2M), cosine CFG 5 → 1, bf16 autocast при fp32 весах, фиксированный FOV 54°.
• ⬇ Вес — 3.8 GB, только inference-параметры; CLIP ViT-H/14 (laion2b_s32b_b79k) подтягивается через open_clip при первом запуске.

👁 Пример

from stereodiffgen.pipeline import StereoDiffGen, read_rgb
from PIL import Image

model = StereoDiffGen()
right = model.generate(read_rgb("left.png"), baseline_m=0.065, seed=0)
Image.fromarray(right).save("right.png")

Подробнее

Бенчмарки: Booster δ1 0.9730, KITTI δ1 0.9663, NYUv2 δ1 0.9689; в таблице также AbsRel, SAWA-H, LPIPS, MEt3R и iSQoE.
Вес 3.8 GB; инференс 768×768, 25 шагов, bf16 autocast, fp32 веса; CLIP-энкодер качается отдельно.
Ограничения: фиксированный FOV 54° — при других интринсиках масштаб диспаратности не совпадёт; выход только 768×768.
Лицензия CreativeML Open RAIL++-M (наследие SD-2.1), с use-based restrictions.