EcoVGGT
быстрая 3D-реконструкция из длинных видео
2 min readupdated
Модель решает задачу восстановления трёхмерной сцены и положения камеры из длинных видеопоследовательностей. Это специализированные веса Alignment Refocusing (75.6M параметров в формате float32) для популярной 3D-модели facebook/VGGT-1B от автора Tequila7437. В основе подхода лежит метод Pinned Key Set: каждый кадр видео обращается к одному и тому же набору из 31 равномерно распределённого опорного кадра, а дообученные глобальные блоки с 10 по 15 отвечают за их точное выравнивание. В отличие от оригинальной VGGT, решение работает значительно быстрее на длинных записях и реже сбивается с траектории. Пригодится исследователям и разработчикам систем компьютерного зрения и 3D-сканирования помещений.
Ключевые особенности
- Ускоряет обработку в 8.5 раза по сравнению с полной моделью VGGT.
- Повышает долю успешных реконструкций на 500-кадровых видео из датасета ScanNet с 70% до 82%.
- Заменяет только 108 тензоров (6 глобальных блоков) в базовой VGGT-1B, оставляя остальные веса нетронутыми.
- Поддерживает как автоматическую загрузку через библиотеку
ecovggt, так и ручное подключение к готовой архитектуре.
Что можно сделать
- Восстанавливать 3D-геометрию комнат и крупных интерьеров по длинным видеопроходам.
- Оценивать траекторию движения камеры и карты глубины на потоковых записях из 500 и более кадров без падения точности.
- Использовать как лёгкий апгрейд для существующих исследовательских пайплайнов на базе VGGT-1B.
Пример
import ecovggt
from ecovggt.io import load_images
model = ecovggt.load_backbone("vggt")
images = load_images("path/to/frames")
rec = ecovggt.reconstruct(model, images.cuda(), "vggt", score=True)
Подробнее
Бенчмарк ScanNet (видео по 500 кадров): 82% успешных реконструкций против 70% у оригинальной VGGT (критерий успеха — абсолютная ошибка траектории менее 0.2 м).Обучение: 2 000 шагов AdamW (lr 1e-5) на 195 сканах ScanNet, заняло 3.6 часа на одной видеокарте A100.
Ограничения: лицензия CC BY-NC 4.0 и условия датасета ScanNet разрешают только некоммерческое исследовательское использование.










Comments