LibreRAFTl-flow-sintel

Чекпоинт RAFT (large, 5.3M параметров) для оценки оптического потока между двумя кадрами, перепакованный под библиотеку LibreYOLO. Это не новая тренировка: взят upstream-вес raft-sintel.pth из релиза princeton-vl/RAFT (коммит 2888e15), обученные параметры оставлены без изменений.

➕ Ключевые особенности

• ➕ Задача image-to-image: по паре кадров возвращает поле потока (H, W, 2) float32 со смещениями (dx, dy) в пикселях от первого кадра ко второму.
• 🔤 Схема обучения: сначала C+T, затем файнтюн на миксе MPI Sintel (C+T+S+K+H).
• ✖ Инференс в нативном разрешении с паддингом до кратности 8 (как upstream InputPadder) и 20 итерациями уточнения.
• ▶ Результат сразу визуализируется: r.flow.to_rgb() даёт цветовое колесо Middlebury.
• 🔙 Изменения минимальны: снят префикс module. от DataParallel и добавлены метаданные LibreYOLO (task: flow).

🔤 Пример

from libreyolo import LibreYOLO

model = LibreYOLO("LibreRAFTl-flow-sintel.pt")
r = model(["frame_000.png", "frame_001.png"])[0]
r.flow.data        # (H, W, 2) float32, (dx, dy) in pixels
r.flow.to_rgb()    # Middlebury colour wheel

Подробнее

Совпадение с оригиналом: на 9 демо-парах Sintel (1024x436) выход побитово совпадает с upstream RAFT в fp32, максимальное абсолютное расхождение — 0.0 px.
Веса не переобучались — только перепакованы и снабжены метаданными.
Лицензия BSD 3-Clause, источник — princeton-vl/RAFT.