WristDepth
метрическая глубина для камер на запястье робота
2 мин чтенияобновлено
Модель WristDepth решает задачу точного определения глубины сцены в метрах по одному изображению и фокусному расстоянию, специально оптимизированную для камер на манипуляторах роботов на расстояниях от 5 см до 1.5 м. Она основана на архитектуре Depth Pro 2 B (размером 0.1B параметров), дообученной на синтетических данных под специфику робототехники. В отличие от базовой модели, которая склонна завышать расстояние в несколько раз, WristDepth значительно снижает ошибки на реальных сценах и выдает точную карту глубины. Модель пригодится инженерам-робототехникам и исследователям, работающим с системами компьютерного зрения.
Ключевые особенности
- Специализация под роборуки: дообучена на синтетических данных с учетом видимости захвата в кадре.
- Снижение ошибок: уменьшает погрешность на неизведанных сценах по сравнению с базовой версией.
- Готовые форматы: помимо весов PyTorch, предоставляет графы ONNX и поддержку TensorRT для инференса.
- Метрический результат: выдает глубину напрямую в метрах с учетом горизонтального фокусного расстояния камеры.
Что можно сделать
- Интеграция в робототехнику: применить модель в пайплайне управления роборукой для определения расстояния до объектов.
- Экспорт в ONNX/TensorRT: запустить оптимизированные версии модели в форматах FP32, FP16 или INT8 для быстрого инференса.
- Обработка потока: использовать конфигурации со стримингом и клипами для анализа последовательностей кадров.
Пример
from depth_pro_2 import DepthPro2, load_rgb
import torch
model = DepthPro2.from_pretrained("christianengel/WristDepth", precision=torch.bfloat16).to("cuda").eval()
image, _ = load_rgb("wrist.jpg")
depth = model.infer(image, f_px=450.0)["depth"]Подробнее
Бенчмарки: на наборе DROID test ошибка AbsRel снижена с 1.445 до 0.255, а масштаб улучшен с 2.27 до 1.00.Ограничения: масштаб может варьироваться в зависимости от сетапа, рекомендуется калибровка под конкретную камеру.
Детали обучения: 4000 кадров из процедурных рендеров BlenderProc, самодистилляция и функция потерь log-depth L1 + gradient matching.










Комментарии