Depth Anything V2 Base NYU Metric

Файнтюн Depth Anything V2 Base от praiseorji4: голова заменена на metric depth с max_depth = 10 м, модель дообучена на NYU Depth V2. Около 0.1B параметров, задача — оценка глубины в метрах для комнатных сцен.

✨ Ключевые особенности

• 🌗 Выход — метрическая глубина в метрах, а не относительная карта.
• 📌 Дообучение на NYU Depth V2: 16 748 шагов, 66 992 изображения, около 150 минут на одной Kaggle T4.
• ✅ На официальном тесте NYU Depth V2: AbsRel 0.100, RMSE 0.362 м, δ1 0.931.
• ⏳ Обучение на чистом PyTorch: SILog loss (λ = 0.85), AdamW с 10× learning rate для декодера, mixed precision.

💻 Пример

from transformers import pipeline
depth = pipeline('depth-estimation', model='praiseorji4/depth-anything-v2-base-nyu-metric')
metres = depth('room.jpg')['predicted_depth']   # metres, 0-10

Подробнее

На NYU Depth V2: AbsRel 0.100, RMSE 0.362 м, δ1 0.931 — AbsRel на 54% ниже zero-shot metric-indoor.
Обучение: около 150 минут на одной Kaggle T4, 16 748 шагов.
Ограничения: настроена на Kinect и комнаты NYU; на DIODE indoor хуже zero-shot (AbsRel 0.298 против 0.235).
Выход ограничен 10 м; один запуск и один seed, лучший checkpoint выбран на 8 отложенных сценах.
Лицензия CC-BY-NC-4.0 — только некоммерческое использование.