ИзображенияLibreYOLO
LibreDPFlowm-flow-spring
optical flow для кадров высокого разрешения в LibreYOLO
1 мин чтения
Это чекпойнт DPFlow (CVPR 2025) для задачи optical flow, упакованный для flow-задачи LibreYOLO. Оригинальный DPFlow — от Henrique Morimitsu; здесь веса из ptlflow без изменения learned parameters. Стадия spring дообучена на Spring с этапа Sintel.
🤔 Ключевые особенности
- 👌 Dual-pyramid encoder выбирает глубину по диагонали изображения: три уровня около 1K и ещё по одному на каждое удвоение.
- 👌 Работает в нативном разрешении кадров и, по карточке, обобщается на входы 4K и 8K.
- 👌 Возвращает
r.flow.dataкак(H, W, 2)float32 в пикселях — вектор(dx, dy)от первого кадра ко второму. - 👌 Есть
r.flow.to_rgb()для раскраски Middlebury colour wheel. - 👌 Сохранён upstream test schedule: 4 refinement iterations на уровень.
⌨ Пример
from libreyolo import LibreYOLO
model = LibreYOLO("LibreDPFlowm-flow-spring.pt")
r = model(["frame_000.png", "frame_001.png"])[0]
r.flow.data # (H, W, 2) float32, pixels, (dx, dy) from frame 0 to frame 1
r.flow.to_rgb() # Middlebury colour wheel
Подробнее
Веса: CC BY-NC-SA 4.0, только некоммерческое использование; код DPFlow — Apache-2.0.Parity на RTX 3090: 23 пары 640×360, fp32, TF32 off, deterministic cuDNN — max abs diff 0.0 px, mean 0.0 px (bitwise identical).
Лицензия весов не покрывается MIT LibreYOLO; соблюдение лицензии — на пользователе.
Изменения относительно ptlflow — только обёртка state-dict.
Комментарии
Без регистрации: достаточно имени.