LibreRAFTl-flow

LibreRAFTl-flow — это RAFT large (5.3M параметров) для оценки оптического потока, перепакованный для библиотеки LibreYOLO. В основе — upstream-чекпоинт raft-things.pth, обученный сначала на FlyingChairs, затем на FlyingThings3D (C+T). Это стандартная схема upstream для обобщения.

🧩 Ключевые особенности

• ⚙️ Совместим с LibreYOLO: загрузка через LibreYOLO("LibreRAFTl-flow.pt").
• 🎯 Возвращает поток (H, W, 2) float32 в пикселях — смещения (dx, dy) от первого кадра ко второму.
• 🌈 Есть перевод потока в RGB-визуализацию по цветовому колесу Middlebury: r.flow.to_rgb().
• 🔬 Инференс идёт в нативном разрешении с паддингом до кратности 8 и 20 итерациями уточнения, как в upstream demo.py.
• 🧬 Обученные параметры не менялись: удалён префикс module. от DataParallel и добавлены метаданные LibreYOLO.

🚗 Пример

from libreyolo import LibreYOLO

model = LibreYOLO("LibreRAFTl-flow.pt")
r = model(["frame_000.png", "frame_001.png"])[0]
r.flow.data        # (H, W, 2) float32, (dx, dy) в пикселях
r.flow.to_rgb()    # цветовое колесо Middlebury

Подробнее

На 9 демо-парах Sintel (1024x436) результат в fp32 совпадает с upstream RAFT бит в бит: максимальная абсолютная разница 0.0 px.
Требования к VRAM в карточке не указаны.
Лицензия — BSD 3-Clause; чекпоинт получен из princeton-vl/RAFT (commit 2888e15).