LibreMEMFOFm-flow-sintel

Это перепаковка MEMFOF (Tartan-T-TSKH-sintel), fine-tune для бенчмарка MPI-Sintel, под библиотеку LibreYOLO. Модель читает кадры t-1, t и t+1 и предсказывает backward и forward поток для кадра t. В LibreYOLO это семейство задач flow LibreMEMFOF; тензоры upstream не менялись — только метаданные и формат чекпойнта.

✨ Ключевые особенности

• 🌕 Три кадра на входе (t-1, t, t+1) и два результата на выходе; модель предсказывает backward и forward поток для кадра t.
• 💻 В LibreYOLO каждый результат несёт forward поток из t в t+1 как Results.flow — поле (H, W, 2) в пикселях.
• 🎨 Визуализация to_rgb() по цветовому колесу Middlebury.
• 📌 Inference defaults: fp32, 8 итераций уточнения, нативное разрешение с replicate padding до кратности 16.
• ⚪ Веса upstream не изменены; это LibreYOLO v1.0 checkpoint с task: flow, nc: 1, names: {0: flow}.

💻 Пример

from libreyolo import LibreYOLO

model = LibreYOLO("LibreMEMFOFm-flow-sintel.pt")
results = model(["frame_000.png", "frame_001.png", "frame_002.png"])  # 3 frames in, 2 results out
flow = results[0].flow.data       # (H, W, 2), dx and dy in pixels
rgb = results[0].flow.to_rgb()    # Middlebury colour wheel

Подробнее

Бенчмарк: fine-tune для MPI-Sintel; конкретные метрики в карточке не приведены.
Источник: код msu-video-group/memfof (commit a51de9f), чекпойнт egorchistov/optical-flow-MEMFOF-Tartan-T-TSKH-sintel (revision 5357570).
Лицензия: BSD 3-Clause; отдельного файла лицензии для upstream-весов нет.
Железо: требования к VRAM не указаны; по умолчанию fp32.
Статья: MEMFOF, ICCV 2025, arXiv:2506.23151.