LibreFlowSeeks-flow

Репозиторий LibreYOLO с моделью FlowSeek для задачи оптического потока (image-to-image). Внутри — сети контекста и признаков на ResNet-18, замороженный энкодер Depth Anything V2 ViT-S (Small) и 12 итераций уточнения. Чекпоинт переупакован под задачу flow в LibreYOLO и самодостаточен.

⭐ Ключевые особенности

• 🌗 Построена на FlowSeek (ICCV 2025) и использует Depth Anything V2 ViT-S как depth foundation encoder.
• ✅ Чекпоинт самодостаточен: веса энкодера Depth Anything V2 ViT-S уже встроены.
• 🔥 12 итераций refinement — как в upstream конфиге flowseek-S.json.
• 📌 Метаданные переупакованы в LibreYOLO checkpoint schema v1.0; обученные параметры не изменены.
• 👀 На выходе — поток (H, W, 2) float32 в пикселях: (dx, dy).
• 💻 Запуск через LibreYOLO: списку из N кадров соответствует N − 1 потоков.

💻 Пример

from libreyolo import LibreYOLO

model = LibreYOLO("LibreFlowSeeks-flow.pt")
results = model(["frame_000.png", "frame_001.png"])  # N кадров → N − 1 потоков
flow = results[0].flow.data  # (H, W, 2) float32, пиксели, (dx, dy)

Подробнее

Обучение: TartanAir, затем Chairs and Things, затем mixed fine-tune на Sintel + KITTI + HD1K + Things.
Upstream оценивает generalist-чекпоинт на Spring и LayeredFlow; конкретных цифр в карточке нет.
Лицензия Apache 2.0; энкодер Depth Anything V2 Small заявлен upstream.
Требования к VRAM и ограничения в карточке не указаны.