LingBot-VLA 2.0 (6B)

Полнопараметрический supervised fine-tune robbyant/lingbot-vla-v2-6b от liwy26 на clean-сплите RoboTwin 2.0 Aloha-AgileX (50 задач × 50 демонстраций). 6B: Qwen3-VL-4B backbone + action expert. На входе 3 RGB-вида, 14-D состояние робота и языковая инструкция; на выходе — 50-шаговый action chunk (14-D).

💪 Ключевые особенности

• 💪 Полный SFT, не LoRA: все параметры слиты в 3 safetensors-шарда (BF16, 12.77 ГБ, 1708 тензоров).
• 👀 Три камеры: camera_top, camera_wrist_left, camera_wrist_right; ключи симулятора cam_high, cam_left_wrist, cam_right_wrist.
• 🔥 50-шаговый action chunk, 10 шагов денойзинга, image size 256×256, state/action dim 14.
• 💸 В комплекте нормализация и конфиги: assets/norm_stats/robotwin.json, configs/robot_configs/robotwin.yaml; lingbotvla_cli.yaml — авторитетный inference-конфиг.
• 😐 Не грузить через AutoModel: нужен deploy/ loader; teacher-веса не включены, alignment-тензоры отбрасываются.

👀 Пример

cd /path/to/lingbot-vla-v2-6b-robotwin-aloha-agilex
export QWEN3VL_PATH=/path/to/Qwen3-VL-4B-Instruct
export PYTHONPATH=/path/to/lingbot-vla-v2:$PYTHONPATH
python -m deploy.lingbot_vla_v2_policy --model_path . --use_length 50 --use_bf16 True --use_fp32 False --port 8006

Подробнее

Success rate: clean — 50.50%, randomized — 27.40%, overall — 38.95% (779/2000 эпизодов).
Это self-test по 20 эпизодов на задачу, а не 100-эпизодный протокол публикаций — цифры не сравнимы напрямую.
Обучение: 3500 шагов + 1200 шагов, 2500 эпизодов, 7× AMD Radeon W7900D, ~10 ч 49 мин, BF16/FSDP2.
Ограничения: только clean-данные, одна embodiment Aloha-AgileX, свободные инструкции не тренировались.
Для инференса нужен стек LingBot-VLA-v2; чекпоинт ~12.77 ГБ в BF16.