LibreWAFTt-flow-dinov3

Это веса WAFT, перепакованные LibreYOLO для библиотеки LibreYOLO. Вариант backbone dinov3 размера t: WAFT a2 с энкодером DINOv3 ViT-S/16 и 56.5 M параметров. Модель оценивает optical flow между изображениями в задаче image-to-image.

🔎 Ключевые особенности

• ⚙ Архитектура WAFT a2 с энкодером DINOv3 ViT-S/16; 56.5 M параметров.
• 🎯 Оценивает optical flow между кадрами: N кадров дают N − 1 потоков.
• 📡 Выход — (H, W, 2), смещения в пикселях (dx, dy).
• 🔄 Репак для LibreYOLO: изменена только обёртка метаданных, веса и имена параметров те же.
• 🔒 Комбинированная лицензия: BSD 3-Clause для WAFT и DINOv3 License для параметров энкодера.

▶ Пример

from libreyolo import LibreYOLO

model = LibreYOLO("LibreWAFTt-flow-dinov3.pt")
results = model(["frame_000.png", "frame_001.png"])  # N frames give N - 1 flows
flow = results[0].flow.data                           # (H, W, 2), pixels, (dx, dy)

Подробнее

Веса: princeton-vl/WAFT, commit b152ff1, файл waftv2-ckpts/dinov3/zero-shot.pth.
Zero-shot обучение: TartanAir → FlyingChairs → FlyingThings3D.
Изменения: только обёртка метаданных; обученные параметры и их имена не менялись.
Лицензии: BSD 3-Clause (WAFT) + DINOv3 License; действуют ограничения DINOv3. Бенчмарки и VRAM в карточке не указаны.