ZipDepth ONNX
относительная глубина без PyTorch
2 min readupdated
Модель оценивает относительную глубину по одному RGB-изображению и выдаёт карту inverse depth: чем больше значение, тем ближе объект. Это FP32 ONNX-конвертация ZipDepth с сохранёнными learned attention и convex upsampling, без квантования и дообучения. ZipDepth дистиллирована из Depth Anything V2 Large, а сама конвертация неофициальная. Пригодится для ONNX-пайплайнов и приложений, где нужен предпросмотр глубины без PyTorch.
Ключевые особенности
- FP32 ONNX-конвертация без квантования и повторного обучения.
- Вход: RGB
[1,3,768,768]со значениями, делёнными на 255; выход:[1,1,768,768]inverse depth. - Сохранены исходные learned attention и convex upsampling.
- В манифесте есть SHA-256 и численные сравнения с PyTorch на изображении, RGB-шуме и чёрном входе.
- Значения не являются расстоянием в метрах: для калибровки нужны scale и shift в пространстве inverse depth.
Что можно сделать
- Встроить ONNX-инференс в веб- или десктопное приложение для быстрого предпросмотра глубины.
- Использовать относительную карту глубины для визуальных эффектов и экспериментов с изображениями.
- Строить карты глубины для фото и кадров видео, сохраняя пропорции и добавляя чёрные поля при ресайзе.
- Добавить модель в существующий ONNX-пайплайн, где не хочется тянуть PyTorch.
Пример
Подайте RGB-изображение, приведённое к [1,3,768,768] и делённое на 255, и получите [1,1,768,768] inverse depth. Для относительного превью можно временно применить z = scale / (raw + shift) при положительном знаменателе, сохраняя исходный выход. Без калибровки не трактуйте значения как расстояние в метрах.
Подробнее
FP32 ONNX, вход 768×768, выход inverse depth; неофициальная конвертация ZipDepth, дистиллированной из Depth Anything V2 Large.Квантование и дообучение не применялись. Для калиброванной дистанции нужны scale и shift.
Задержку в браузере и поддержку WebGPU операторов надо измерять отдельно.
ONNX SHA-256:
7926169714cc7e310408f4640f650db3253be1453ad185384bddbea13339795b.









Comments