LiteCalib ViT-B
быстрая калибровка камеры по одному фото
1 мин чтенияобновлено
Модель LiteCalib с основай DINOv2 ViT-B/14 (визуальный трансформер с 106 млн параметров) решает задачу одноракурсной калибровки камеры (Single-View Camera Calibration). Она определяет поле зрения (vFoV) и параметры дисторсии оптики по одному статичному изображению, используя симметричные модели камеры. Разработка пригодится исследователям компьютерного зрения, создателям 3D-реконструкций и разработчикам приложений с дополненной реальностью, где нужно восстановить геометрию сцены без специальных калибровочных таблиц.
Ключевые особенности
- DINOv2 backbone: использует мощный визуальный фундамент для извлечения признаков.
- Высокая скорость: обработка кадра занимает всего 6.3 мс на NVIDIA A100 (fp16).
- Точность: медианная угловая ошибка составляет 1.50° по бенчмаркам статьи.
- Поддержка TensorRT: оптимизирована для запуска на периферийных устройствах вроде Jetson Orin Nano.
Что можно сделать
- Анализ геометрии: определить поле зрения и оптические искажения для любого одиночного снимка.
- Интеграция в пайплайны 3D: использовать калибровку как предварительный шаг для реконструкции сцен или фотограмметрии.
- Запуск на железе: развернуть модель на робототехнических или встраиваемых модулях через TensorRT для работы в реальном времени.
Пример
import litecalib
model = litecalib.load("litecalib_vitb")
calib = model.calibrate("photo.jpg", "radial:1")
print(calib.K, calib.distortion)Подробнее
Медианная угловая ошибка: 1.50°Медианная ошибка vFoV: 3.20°
Производительность: 6.6 мс total на NVIDIA A100 (PyTorch fp16) и 27.1 мс на Jetson Orin Nano 8 GB (TensorRT fp16)
Обучение: 24 эпохи на данных OpenPano, CommonsPano и MegaScenes
Лицензия: Apache License 2.0










Комментарии