ReTokenGS-stream-dl3dv
потоковая 3D-реконструкция по кадрам
1 мин чтенияобновлено
Модель ReTokenGS-stream-dl3dv решает задачу быстрого восстановления 3D-сцен по поступающим в реальном времени кадрам в режиме feed-forward (без дополнительной оптимизации под конкретную сцену во время теста). Архитектура основана на замкнутой петле с внешним RMS norm (нормализацией среднеквадратичного отклонения) и шагами латентного градиента, дообученной на датасете DL3DV. На выходе получается качественное трёхмерное представление сцены с возможностью поочерёдного прибытия видов. Модель пригодится исследователям и разработчикам в сфере компьютерного зрения и нейронного рендеринга.
Ключевые особенности
- Потоковая обработка: виды могут поступать постепенно порциями (например, 8 + 4 + 4).
- Отсутствие теста-оптимизации: быстрая генерация сцены без тяжёлой доводки.
- Обучение на датасете DL3DV с фиксированным окном в 50 кадров.
Что можно сделать
- Реконструировать 3D-сцены по последовательно поступающим ракурсам камеры.
- Интегрировать модель в пайплайны потокового нейронного рендеринга и обработки видео в разрешении 256×256.
Пример
Модель принимает позиционированные входящие изображения и обрабатывает их через итеративную петлю обновления скрытых состояний. Подробный код запуска и сравнения с базовыми версиями доступны в репозитории проекта на ветке stream_dl3dv.
Подробнее
• Архитектура: петля с латентным градиентным шагом и внешним RMS norm• Метрики (DL3DV-140, 16 видов): PSNR 29.70 / SSIM 0.895 / LPIPS 0.176
• Лицензия: Apache-2.0 (на базе LocusGS / TokenGS)
• Хеш весов: 8aaa60c109ae6e5b7b869e0671278896de141fdc4fdde208d8989d4b3cd8c574










Комментарии