ZipDepth-EdgePad
быстрая карта глубины для видео и GPU без трансформеров
2 мин чтенияобновлено
Набор сверхлёгких ONNX-моделей для оценки монокулярной глубины по одному кадру, подготовленный командой Nightfall на базе сверточной сети ZipDepth (6,1 млн параметров, дистиллированной из Depth Anything V2 Large). В архитектуре нет операций attention и трансформеров, благодаря чему граф целиком выполняется на GPU без переброски промежуточных тензоров на CPU. В репозитории выложены два поколения под ПК (Nightfall Meteor): точная графовая оптимизация квадратной модели Square EdgePad и дообученная версия Widescreen EdgePad для широкоформатного видео 16:9 со сниженным межкадровым мерцанием. Подойдёт разработчикам 3D-эффектов, VR/AR-приложений и видеоредакторов, которым нужна быстрая и плавная карта глубины в реальном времени.
Ключевые особенности
- Компактность и скорость: всего 6,1M параметров и чисто сверточная архитектура (дообучался только декодер на 154 005 параметров).
- Два формата под разные задачи:
zipdepth_edgepad_384.onnx(384×384) без изменения весов и широкоформатныеzipdepth_wide_512x288.onnxиzipdepth_wide_672x384.onnxпод 16:9. - Стабильность на видео: Widescreen-версия дообучалась на дистиллированных метках Video Depth Anything Small и Marigold V2, чтобы уменьшить дрожание глубины между кадрами.
- Открытая лицензия: модели распространяются под лицензией MIT и готовы к запуску через стандартный ONNX Runtime.
Что можно сделать
- Конвертация 2D-видео в 3D: использовать широкоформатные ONNX-модели в пайплайнах рендеринга стереовидео или параллакс-эффектов для роликов 16:9.
- VR/AR и интерактивная графика: встроить лёгкую оценку глубины в десктопные приложения и шейдеры (как в Nightfall Meteor) без высокой нагрузки на видеокарту.
- Постобработка и сегментация по планам: строить маски переднего и заднего плана для размытия фона или цветокоррекции в видеоредакторах.
Пример
Модель принимает RGB-тензор image в формате NCHW [1, 3, H, W] типа float32 со значениями от 0 до 1 (нормализация ImageNet уже вшита внутрь графа). На выходе получается карта относительной обратной глубины того же разрешения, где большие значения соответствуют более близким объектам; перед использованием её нужно нормализовать (например, растянув между нижним и верхним перцентилями).
Подробнее
Качество на отложенной видеовыборке (512×288 против стандартного экспорта ZipDepth того же размера): мерцание на статичных сценах снижено на 8,6%, ошибка оптического потока (flow-warped error) — на 5,8%, межкадровое изменение — на 8,4%.Математическая точность оптимизации Square EdgePad относительно исходного графа ZipDepth: корреляция 0.9999999999999908 и нормализованная MAE 3.6e-8.
Ограничения: модель не имеет памяти и обрабатывает каждый кадр независимо (временная согласованность заложена только через функции потерь при обучении); на выходе выдаётся относительная глубина без фиксированного масштаба в метрах.










Комментарии