LibreRAFTl-flow-kitti

Это RAFT (large, 5.3M параметров) для оценки оптического потока между кадрами. Чекпоинт raft-kitti.pth — это Sintel-модель, дополнительно дообученная на KITTI 2015, упакованная для библиотеки LibreYOLO.

✨ Ключевые особенности

• 🎨 Считает optical flow между двумя кадрами и возвращает (H, W, 2) float32 — смещения (dx, dy) в пикселях.
• 🖱 Inference идёт в нативном разрешении: паддинг до кратности 8 и 20 итераций уточнения, как в upstream demo.py.
• ✅ На 9 Sintel demo pairs (1024×436) выход совпадает с upstream RAFT бит в бит в fp32: max abs difference 0.0 px.
• 📌 Веса не менялись: убран префикс module. от DataParallel и добавлены метаданные task: flow.
• 📌 Лицензия BSD 3-Clause; источник — princeton-vl/RAFT, commit 2888e15.

💻 Пример

from libreyolo import LibreYOLO

model = LibreYOLO("LibreRAFTl-flow-kitti.pt")
r = model(["frame_000.png", "frame_001.png"])[0]
r.flow.data        # (H, W, 2) float32, (dx, dy) in pixels
r.flow.to_rgb()    # Middlebury colour wheel

Подробнее

Бенчмарк: на 9 Sintel demo pairs (1024×436) выход LibreYOLO совпадает с upstream RAFT бит в бит в fp32, max abs difference 0.0 px.
Inference: нативное разрешение, паддинг до кратности 8, 20 итераций уточнения.
Изменения: только упаковка — префикс module. убран, добавлены метаданные task: flow; learned parameters не тронуты.
Лицензия BSD 3-Clause, исходник — princeton-vl/RAFT commit 2888e15.