LibreDPFlowm-flow

Это чекпоинт DPFlow (CVPR 2025) для задачи оптического потока, перепакованный LibreYOLO под task flow. Стадия things: обучение на FlyingChairs, затем FlyingThings3D — стандартный чекпоинт обобщения и дефолт LibreYOLO. Веса некоммерческие.

😎 Ключевые особенности

• 🔮 Двухпирамидальный энкодер DPFlow выбирает глубину по диагонали изображения: три уровня около 1K и ещё по одному на каждое удвоение.
• 🖼 Работает в нативном разрешении кадров и заявлено обобщается на 4K и 8K.
• 📌 Сохранён upstream-график теста: 4 итерации уточнения на уровень.
• ✅ На RTX 3090 совпадение с ptlflow DPFlow побитовое: 23 пары 640×360, fp32, max abs diff 0.0 px.
• 📌 Результат — поток (H, W, 2) в пикселях, (dx, dy) от первого кадра ко второму; есть RGB-визуализация Middlebury.

💻 Пример

from libreyolo import LibreYOLO

model = LibreYOLO("LibreDPFlowm-flow.pt")  # auto-downloads from this repo
r = model(["frame_000.png", "frame_001.png"])[0]
r.flow.data      # (H, W, 2) float32, pixels, (dx, dy)
r.flow.to_rgb()  # Middlebury colour wheel

Подробнее

Бенчмарки из карточки: Sintel clean EPE 1.02, Sintel final EPE 2.27, KITTI 2015 EPE 3.39.
Проверка parity — RTX 3090, 23 пары 640×360, fp32, TF32 off, deterministic cuDNN; различий нет.
Веса: CC BY-NC-SA 4.0, только некоммерческое использование; лицензия MIT LibreYOLO на них не распространяется.
Изменения — только обёртка метаданных state-dict, обученные параметры не менялись.