StreetNVS

Официальный релиз модели StreetNVS от исследователей Stanford University и NVIDIA. Это видео-диффузионная модель для novel-view synthesis: по разреженному LiDAR, surround-view изображениям и позам камер она генерирует новые виды дорожной сцены, в том числе вне записанной траектории. Построена на Wan2.2-TI2V-5B.

🔮 Ключевые особенности

• 🔥 Совместное conditioning на три сигнала: разреженные LiDAR-репроекции, изображения кругового обзора и позы камер.
• 🔮 Reference-Enhanced Camera Attention с relative ray-level positional encoding.
• 📚 Двухэтапный curriculum: модель постепенно приучают к всё более разреженному LiDAR.
• 🐎 На Waymo Open Dataset превосходит SOTA при sparse LiDAR и дотягивается до методов с 10–100× более плотными point clouds.
• 🎞 Генерирует согласованные видео для экстремальных путей: подъём, смещение полосы, отъезд назад и поворот.
• 💻 Веса лежат в streetnvs.safetensors; используются text encoder, VAE и tokenizer от Wan2.2-TI2V-5B.

🎞 Пример

Сценарий из карточки: на вход подаются разреженное LiDAR-облако, surround-view кадры и позы камер, а на выходе получается видео с нового ракурса. В примерах показаны bird's-eye view и экстремальный lane shift, где камера уходит далеко от записанной траектории.

Подробнее

Бенчмарк: Waymo Open Dataset — превосходство над SOTA при sparse LiDAR и сопоставимость с методами на 10–100× более плотных point clouds.
Требования к VRAM и железу в карточке не указаны.
Для своих данных нужна подготовка через Waymo Open Dataset; код и инструкции — в отдельном репозитории.
Лицензия inference-расширений — Apache 2.0; часть preprocessing/rasterizer — research/non-commercial.