LibreRAFTs-flow

LibreRAFTs-flow — перепакованный для библиотеки LibreYOLO чекпойнт RAFT-small от princeton-vl. Это модель оптического потока (image-to-image) с 1.0M параметров: по паре кадров оценивает смещение (dx, dy) в пикселях. Обучена по схеме FlyingChairs → FlyingThings3D (C+T).

🤓 Ключевые особенности

• 😎 RAFT-small всего с 1.0M параметров.
• 🤝 Совместим с LibreYOLO: на входе пара изображений, на выходе — flow.
• 👍 Выход (H, W, 2) float32, значения (dx, dy) в пикселях; to_rgb() даёт цветовое колесо Middlebury.
• ⌨ Инференс в нативном разрешении с паддингом до кратности 8 и 20 итерациями уточнения.
• 📝 Веса перепакованы: убран префикс module., добавлены метаданные LibreYOLO (task: flow); обученные параметры не менялись.

⌨ Пример

from libreyolo import LibreYOLO

model = LibreYOLO("LibreRAFTs-flow.pt")
r = model(["frame_000.png", "frame_001.png"])[0]
r.flow.data        # (H, W, 2) float32, (dx, dy)
r.flow.to_rgb()    # Middlebury colour wheel

Подробнее

Бенчмарк: на 9 демо-парах Sintel (1024×436) выход LibreYOLO совпадает с upstream RAFT бит в бит в fp32, max abs difference 0.0 px.
Инференс: нативное разрешение, паддинг до кратности 8, 20 итераций уточнения.
Детали: VRAM не указан; это перепаковка upstream raft-small.pth, обученные параметры не менялись; лицензия BSD 3-Clause.