X-VLA для UR5e + Schunk

Это policy от Leberkaesweckle для реального робота UR5e с гриппером Schunk, обученная в LeRobot на базе lerobot/xvla-base. X-VLA — vision-language-action фреймворк с soft prompt эмбеддингами: разные роботы и сенсоры кодируются как отдельные «задачи». Модель на ~0.88 млрд параметров принимает несколько изображений и 8-мерное состояние, а выдаёт 7-мерное действие.

🔍 Ключевые особенности

• 🖥 Дообучена под робота ur5_schunk_follower; камеры front и side.
• 🎙 Вход: несколько VISUAL-тензоров (256×256 и 224×224) и observation.state размером (8,).
• 🎮 Выход: action размером (7,).
• 📚 Обучение на 50 эпизодах, 15 011 кадрах при 15 FPS; задача — схватить оранжевый блок и опустить его в синюю коробку.
• ⚙ 20 000 шагов, batch size 32, learning rate 0.0001, оптимизатор xvla-adamw, LeRobot 0.6.2.
• © Лицензия apache-2.0.

▶ Пример запуска

Ключевые параметры; порт и индексы камер подставьте свои.

lerobot-rollout \
  --strategy.type=base \
  --robot.type=ur5_schunk_follower \
  --robot.port=<your_robot_port> \
  --robot.cameras="{ front: {type: opencv, index_or_path: <idx1>, width: 640, height: 480, fps: 30}, side: {type: opencv, index_or_path: <idx2>, width: 640, height: 480, fps: 30}}" \
  --policy.path=Leberkaesweckle/Dataset_UR5e_Schunk_Gripper_50_episodes_10_09_2026_XVLA \
  --task="Grip the orange block and drop them into the blue box" \
  --duration=60

Подробнее

📊 Публичных бенчмарков нет: в карточке «No evaluation results».
🖥 Требования к VRAM не указаны; в примере обучения используется --policy.device=cuda.
⚠ Порт робота и индексы камер нужно подставить свои; имена камер должны совпадать с observation keys.
📌 Датасет: 50 эпизодов, 15 011 кадров, 15 FPS; обучение — 20 000 шагов.