nrs-large 0.1.0
zero-shot оценка глубины по стереопаре без дообучения
2 мин чтенияобновлено
Модель для восстановления карты диспаратности (смещения объектов между левым и правым кадром) и метрической глубины по паре изображений со стереокамеры. Разработана компанией Necessity Robotics на базе архитектуры DLNR (57,38 млн параметров) и обучена полностью с нуля на синтетическом датасете WMGStereo-150k без использования чужих предобученных весов. В отличие от решений, требующих тонкой настройки под конкретное железо, nrs-large работает в режиме zero-shot: её проверили на шести реальных бенчмарках, которых не было в обучении. Пригодится робототехникам и инженерам компьютерного зрения для офлайн-построения 3D-карт и разметки данных под более лёгкие модели.
Ключевые особенности
- Zero-shot на реальных сценах: обучена исключительно на 155 769 синтетических стереопарах, но уверенно переносится на реальные снимки с камер (проверено в том числе на OAK-D Lite).
- Работа с любой калиброванной стереокамерой: скрипт
rig_depth.pyиз репозитория сам ректифицирует (выравнивает) сырые кадры по файлу калибровки OpenCV и рассчитывает глубину в метрах. - Поддержка любого разрешения и ч/б: принимает RGB или чёрно-белые изображения произвольного размера, автоматически дополняя их до кратности 32 пикселям.
- Открытая лицензия Apache-2.0: веса в формате
safetensorsи скрипты инференса полностью открыты для коммерческого и исследовательского использования.
Что можно сделать
- Авторазметка датасетов: использовать модель как «учителя» на сервере или ПК для генерации эталонных карт глубины с реальных камер и последующего обучения компактных бортовых сетей.
- 3D-реконструкция и картографирование: строить точные офлайн-карты окружения по записям с кастомных стереоригов, зная фокусное расстояние и базу (расстояние между камерами).
- Бенчмаркинг в исследованиях: использовать воспроизводимый чекпоинт DLNR как базовую линию для сравнения алгоритмов стереозрения.
Пример
python infer.py --ckpt nrs-large.safetensors --left left.png --right right.png \
--out_dir out --device cuda --fx --baseline
Подробнее
Метрики ошибок (меньше — лучше): ETH3D bad-1 — 2,04%, KITTI-12 bad-3 — 3,38%, KITTI-15 bad-3 — 4,59%, Middlebury-H bad-2 — 3,91%, Booster-Q bad-2 — 9,22%.Скорость (кадр 640×480, 32 итерации, FP32): 0,28 с на NVIDIA RTX 5090 и 6,5 с на CPU Ryzen 9 9950X (8 потоков).
Ограничения: не предназначена для реального времени на встраиваемых платах (Jetson), не поддерживает рыбий глаз (fisheye) и монокулярное видео, плохо справляется со стеклом, зеркалами и однотонными поверхностями.










Комментарии