LibreWAFTl-flow-twins

Это веса WAFT для optical flow, перепакованные для библиотеки LibreYOLO. Подготовлены LibreYOLO на основе WAFT от Princeton Vision & Learning Lab. Вариант backbone twins размера l: энкодер Twins-SVT-Large, 136,0 млн параметров.

🧩 Ключевые особенности

• 🧩 Перепакованный checkpoint WAFT: изменена только обёртка метаданных, веса и имена параметров не тронуты.
• ⚙ Архитектура WAFT (a2) с энкодером Twins-SVT-Large, вариант twins размера l.
• 🎯 Задача — optical flow: N кадров на входе дают N−1 потоков.
• 🧬 Zero-shot схема обучения: TartanAir → FlyingChairs → FlyingThings3D.
• 📀 Лицензии: BSD 3-Clause для WAFT и Apache 2.0 для энкодера Twins-SVT-Large.

💡 Пример

from libreyolo import LibreYOLO

model = LibreYOLO("LibreWAFTl-flow-twins.pt")
results = model(["frame_000.png", "frame_001.png"])
flow = results[0].flow.data  # (H, W, 2), pixels, (dx, dy)

Подробнее

Модель: WAFT с энкодером Twins-SVT-Large, 136,0 млн параметров.
Обучение zero-shot: TartanAir → FlyingChairs → FlyingThings3D.
Изменена только обёртка метаданных checkpoint; веса и имена параметров не менялись.
Бенчмарки и требования к VRAM в карточке не указаны.