X-VLA для SO Follower

Это файнтюн X-VLA — soft-prompted flow-matching VLA-фреймворка, который кодирует конфигурацию робота или железа как «задачу» через небольшие обучаемые Soft Prompt эмбеддинги. Модель на 0,88 млрд параметров обучена в LeRobot для so_follower с камерами top и wrist; задачи — «pick up the blue cube» и «pick up the red cube».

✅ Ключевые особенности

• 🦾 X-VLA: soft-prompted flow-matching подход для разных роботов, сенсоров и action space.
• ✅ Дообучена от lerobot/xvla-base под робота so_follower.
• 👁 Входы: три VISUAL-тензора (256×256, 256×256, 224×224) и state (8,); выход — action (6,).
• 🤝 Обучение в LeRobot 0.6.2: 3000 шагов, batch size 32, learning rate 0.0001.
• 📉 Датасет: 200 эпизодов, 85 682 кадра, 30 FPS, две задачи.

🎤 Пример

Запуск политики на роботе через lerobot-rollout:

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<port> \
  --robot.cameras='{ top: {...}, wrist: {...}}' \
  --policy.path=arvinesmaeilydev/xvla_PickUpTheCube_Blue_Red_Dual_2x100_Focus_epoch_1000-ema \
  --task='pick up the blue cube' \
  --duration=60

Подробнее

Обучение: 3000 шагов, batch size 32, lr 0.0001, seed 1000, LeRobot 0.6.2.
Датасет: 200 эпизодов, 85 682 кадра, 30 FPS; задачи «pick up the blue cube» и «pick up the red cube».
Оценки на реальном роботе в карточке нет — success rate не указан.
Лицензия Apache-2.0; 0,88 млрд параметров.