DA3METRIC-LARGE-Kraken-UW
оценка метрической глубины под водой
2 min readupdated
Модель определяет расстояние в метрах до объектов и дна по подводным снимкам с камер автономного необитаемого аппарата (AUV). В основе лежит depth-anything/DA3METRIC-LARGE от ByteDance, дообученная командой NTU Mecatron с помощью LoRA (небольшой адаптер, веса которого здесь уже вшиты в основную сеть) на синтетических данных из симулятора UnityMDS. В отличие от базовой версии, которая под водой сильно занижает дистанцию, эта адаптация восстанавливает реальный масштаб на глубинах до 5 метров и распространяется в виде единого файла ONNX (1.34 ГБ) для быстрого запуска в ONNX Runtime или TensorRT. Разработка пригодится создателям подводных роботов и участникам соревнований уровня RoboSub и RobotX.
Ключевые особенности
- Высокая точность на ближней дистанции: в диапазоне 0–5 м относительная ошибка AbsRel падает с 0.81 до 0.082 по сравнению с оригинальной DA3 Metric Large.
- Готовность к продакшену: LoRA-адаптер объединён с базовыми слоями в один ONNX-файл, из которого легко собрать fp16-движок для TensorRT.
- Учёт оптики камеры: для перевода сырого выхода сети в метры используется формула масштабирования с фокусным расстоянием конкретной камеры (без неё оценка будет занижена примерно на 35%).
- Отдельная маска неба: помимо карты глубины
depthмодель возвращает маскуsky, позволяя корректно заполнять дальний фон на постобработке.
Что можно сделать
- Встроить в систему восприятия подводного робота (AUV) для навигации и обхода препятствий в симуляторах и бассейнах.
- Объединить карту глубины с масками сегментации объектов, чтобы вычислять точное расстояние до конкретных целей и подводных труб.
- Использовать открытые скрипты обучения и экспорта от авторов как шаблон для дообучения Depth Anything 3 под другие камеры и подводные сцены.
Пример
import onnxruntime as ort
sess = ort.InferenceSession("DA3METRIC-LARGE_latest.onnx", providers=["CUDAExecutionProvider"])
# x: RGB-кадр [1, 3, 280, 504] после resize и ImageNet-нормализации
depth, sky = sess.run(["depth", "sky"], {"image": x})
focal = 0.5 * (286.02 * 504 / 640 + 286.02 * 280 / 480)
depth_metres = depth[0, 0] * focal / 300.0
depth_metres[sky[0, 0] >= 0.3] = 200.0
Подробнее
Метрики в UnityMDS (камера вниз, медианная высота 3.3 м): AbsRel улучшился с 0.824 до 0.105, масштаб вырос с 0.16 до 0.92 (идеал — 1.0), доля пикселей с ошибкой δ < 1.25 достигла 0.88.Железо и формат: размер файла 1.34 ГБ, фиксированный вход
[1, 3, 280, 504] (fp32, batch 1); обучение заняло ~6 часов на 1× Tesla T4 (8 000 пар RGB+depth).Ограничения: модель тестировалась только в симуляторе (Sim only), хуже оценивает дистанцию дальше 5 м и занижает расстояние до труб глубже 2 м.










Comments