LibreMEMFOFm-flow

LibreMEMFOFm-flow — это чекпойнт MEMFOF (Tartan-T-TSKH) для оценки оптического потока, перепакованный под LibreYOLO. Модель читает три кадра — t-1, t и t+1 — и предсказывает обратный и прямой поток для кадра t; в LibreYOLO она относится к семейству задач flow LibreMEMFOF. Это не новая архитектура: тензоры upstream не изменены, добавлена только обёртка LibreYOLO v1.0.

🔥 Ключевые особенности

• 🎞 Трёхкадровый optical flow: на вход три кадра, на выход — поле (H, W, 2) в пикселях для кадра t.
• ✅ В LibreYOLO результат доступен как Results.flow — прямой поток из t в t+1 на исходном холсте изображения.
• 🖼 Поток можно сразу визуализировать через to_rgb() в цветовом колесе Middlebury.
• 📍 Это рекомендованный авторами чекпойнт MEMFOF для реального видео и дефолтные веса MEMFOF в LibreYOLO.
• 📚 Инференс по умолчанию: fp32, 8 итераций уточнения, нативное разрешение с replicate padding до кратности 16.

💻 Пример

from libreyolo import LibreYOLO

model = LibreYOLO("LibreMEMFOFm-flow.pt")
results = model(["frame_000.png", "frame_001.png", "frame_002.png"])  # 3 frames in, 2 results out
flow = results[0].flow.data       # (H, W, 2), dx and dy in pixels
rgb = results[0].flow.to_rgb()    # Middlebury colour wheel

Подробнее

Бенчмарков в карточке нет; заявлена статья MEMFOF на ICCV 2025 (arXiv:2506.23151).
Требования к VRAM не указаны; по умолчанию fp32 и 8 итераций уточнения.
Лицензия BSD 3-Clause; у upstream-весов отдельный файл лицензии не приложен, лицензия унаследована от кода.
Это только metadata wrap: ключи и значения тензоров upstream не менялись.