openmvs-flexglue-onnx
сопоставление кадров и оценка позы камеры в ONNX
2 мин чтенияобновлено
Набор графов нейронной сети FlexGlue в формате ONNX (открытый стандарт для быстрого запуска моделей), подготовленный разработчиком cDcSeacave специально для системы 3D-реконструкции OpenMVS. Модель решает сразу две задачи: выбирает пары перекрывающихся фотографий и за один проход строит плотную карту соответствий между пикселями, а также оценивает относительное положение камер без знания их внутренних параметров (intrinsics-free). В основе лежит архитектура DINOv3 ConvNeXt-B (87,6 млн параметров) с 9 трансформерными слоями и дополнительной головой H1 для расчёта позы. Сборка повторяет формат бандла RoMa v2, поэтому её можно использовать как замену в пайплайнах фотограмметрии и 3D-сканирования.
Ключевые особенности
- Два отдельных графа:
descriptor(358 МБ, fp32) извлекает признаки 64×64 и глобальный вектор для поиска похожих пар кадров, аmatch(98 МБ, fp16) выполняет плотное сопоставление. - Оценка позы без калибровки: встроенная голова H1 (0,46 млн параметров) возвращает матрицу поворота и направление смещения между камерами за ~0,5 мс на GPU A100.
- Встроенная фильтрация: граф сопоставления сразу выдаёт оценку совместной видимости сцены (covisibility) и отсекает ненадёжные точки по порогу уверенности и циклу вперёд-назад.
- Совместимость с ONNX Runtime: использует оптимизированные операторы
MultiHeadAttentionиGeluдля запуска внутри C++-кода OpenMVS без зависимости от PyTorch.
Что можно сделать
- Ускорить 3D-реконструкцию в OpenMVS: подключить модель в утилите
CreateStructureдля поиска пар снимков и плотного матчинга при построении облаков точек по фотографиям. - Обрабатывать некалиброванные съёмки: восстанавливать относительную геометрию кадров с ручных камер, дронов или из интернета, когда точные параметры объектива неизвестны.
- Встроить в собственный C++/Python-пайплайн: запускать экспортированные ONNX-файлы напрямую через ONNX Runtime 1.23+ с минимальным расхождением относительно оригинала на PyTorch.
Пример
cmake --build . --target flexglue-model
CreateStructure images/ --roma2 true --dense-matcher flexglue --match-mode 4
CreateStructure images/ --roma2 true --dense-matcher flexglue --match-mode 4 --roma2-match trueПодробнее
Точность относительно PyTorch (CUDA, fp16): медианная ошибка варпинга 3.2e-5 (совпадение валидных ячеек 99,9%), ошибка позы — 0,048° по повороту и 0,136° по направлению.Требования: сборка OpenMVS с флагом
-DOpenMVS_USE_ONNXRUNTIME=ON, входные изображения приводятся к размеру 512×512 (batch 1).Лицензия: граф матчинга и голова H1 под MIT, но граф дескриптора включает бэкбон DINOv3 (Meta) — действует строгая лицензия DINOv3 с запретом на военное применение.










Комментарии