FlowPilot

Опубликованы чекпоинты FlowPilot — Flow Matching based world-action модели для real-time onboard UAV navigation. Двухпоточный MoT совместно моделирует video latents и action tokens, а действия задаются полиномом Бернштейна 7-го порядка с 8 control points.

🧭 Ключевые особенности

• 🧭 Flow Matching world-action модель для навигации БПЛА; предназначена для симуляции и onboard-инференса.
• ⚙ Двухпоточный MoT совместно моделирует video latents и action tokens.
• 📡 Из 8 control points 3 фиксируются начальным состоянием, 5 предсказывает сеть; на выходе 48 waypoints на 30 Hz.
• 💻 Основной чекпоинт phase 2 — ckpt_final.pt размером 651 MB; inference state dict лежит под ключом model, также есть step, optimizer и lr_scheduler.
• 🛡 Чекпоинты под Apache 2.0; VAE Wan2.2 нужно скачать отдельно из официального репозитория Wan-AI/Wan2.2-TI2V-5B.
• 🆕 Веса предназначены для исследований, а не для сертифицированных safety-critical полётов.

⌨ Пример

git clone https://github.com/flyingbitac/FlowPilot.git
cd FlowPilot
hf download YuDinging/FlowPilot --include "ckpt/*" --local-dir .
hf download Wan-AI/Wan2.2-TI2V-5B Wan2.2_VAE.pth --local-dir ckpt

Подробнее

ℹ Чекпоинт: ckpt/phase2/ckpt_final.pt, 651 MB; рядом action_stats.pt и coeff_stats.pt.
⚙ VAE Wan2.2 в репозитории не хранится — его нужно скачать отдельно.
🛡 Лицензия Apache 2.0; модель для исследований, симуляции и onboard-экспериментов, не для safety-critical полётов.
📌 Требования к VRAM/железу и бенчмарки в карточке не указаны.