Eco3R
быстрая 3D-реконструкция длинных видео на базе VGGT-1B
2 мин чтения
Eco3R — это набор дообученных весов (75,6 млн параметров) для модели 3D-реконструкции facebook/VGGT-1B от команды исследователей (Cao et al.). Модель решает задачу восстановления трёхмерной геометрии сцены и траектории камеры по длинным видеороликам. В основе лежит подход Pinned-Key Inference: каждый кадр видео обращается к одному и тому же фиксированному набору из 31 равномерно распределённого опорного кадра, а дообученные глобальные блоки (с 10 по 15) обеспечивают точное выравнивание. В отличие от оригинальной VGGT-1B, версия с весами Eco3R работает в 8,5 раза быстрее на длинных последовательностях и реже ошибается в траектории. Пригодится исследователям и разработчикам в области компьютерного зрения, робототехники и AR/VR.
Ключевые особенности
- Ускорение в 8,5 раза: на видео из 500 кадров модель работает значительно быстрее полной версии VGGT за счёт механизма Pinned Key Set.
- Выше стабильность на длинных видео: доля успешных реконструкций на датасете ScanNet выросла с 70% до 82% (ошибка траектории менее 0,2 м).
- Лёгкая интеграция: файл
alignment_refocusing_vggt1b.safetensorsсодержит 108 тензоров для блоков 10–15 и заменяет только их, оставляя остальные веса VGGT-1B без изменений. - Простой запуск через библиотеку eco3r: веса подгружаются автоматически или встраиваются в уже собранную модель VGGT одной функцией.
Что можно сделать
- Реконструкция больших помещений: восстанавливать 3D-геометрию комнат и интерьеров по длинным обходным видео (например, из 500 кадров) без падения точности.
- Оценка траектории камеры и глубины: извлекать параметры положения камеры и карты глубины для исследовательских задач в робототехнике и навигации.
- Апгрейд пайплайнов на VGGT-1B: подключить файл весов через
eco3r.load_refocusing()в существующий код на базе VGGT для ускорения инференса.
Пример
import eco3r
from eco3r.io import load_images
model = eco3r.load_backbone("vggt")
images = load_images("path/to/frames")
rec = eco3r.reconstruct(model, images.cuda(), "vggt", score=True)Подробнее
Метрики (ScanNet, 500 кадров): 82% успешных реконструкций (ATE < 0.2 м) против 70% у полной VGGT; скорость выше в 8,5 раза.Обучение: 2000 шагов AdamW (lr 1e-5) на 195 сканах ScanNet, заняло 3,6 часа на одной видеокарте A100.
Архитектура: обновлены только глобальные блоки 10–15 (75.6M параметров в float32).
Лицензия: CC BY-NC 4.0 (только для некоммерческих исследований, согласно условиям VGGT-1B и ScanNet).










Комментарии