Qwen3.5-VLA LIBERO-Spatial (frozen B)

Это исследовательская vision-language-action политика от jiankimr, которая соединяет Qwen3.5-4B с новым 16-слойным action DiT. Обучена flow-matching behaviour cloning на демонстрациях LIBERO-Spatial; в варианте B Qwen заморожен, обучается только action DiT. Чекпойнт — шаг 10 000.

⚙ Ключевые особенности

• 🧊 Vision encoder и language backbone Qwen3.5-4B заморожены; обучается только action DiT на 1.15B параметров.
• 🧩 16-блочный DiT: hidden 1536, 12 голов ×128, SwiGLU FFN 10240, joint bidirectional attention, AdaLN и THW RoPE.
• 🎯 Горизонт 16 действий по 64 dims; используются 7 — 6 delta end-effector и gripper, остальные маскируются.
• ⚡ Flow matching с masked MSE; на инференсе — 10 шагов Euler и разнормализация по q01/q99.
• 🏆 0.908 success (454/500) на официальных 500 эпизодах LIBERO-Spatial.

💡 Пример

from pathlib import Path
from huggingface_hub import snapshot_download
from qwen_vla.libero_eval import LiberoPolicy

root = Path(snapshot_download("jiankimr/qwen35-vla-libero-spatial-frozenB"))
policy = LiberoPolicy(root / "checkpoints/step_00010000", device="cuda", num_steps=10)
actions = policy({"agentview_image": front_rgb, "robot0_eye_in_hand_image": wrist_rgb}, instruction)