SmolVLA для xlerobot_x

Это компактная vision-language-action модель SmolVLA на 0.45B параметров, дообученная автором ts-flake для робота xlerobot_x. Политика получает состояние и три камеры, а на выходе выдаёт 14-мерное действие. Задача — поднимать керамические тарелки и аккуратно ставить их одну на другую.

💡 Ключевые особенности

• ⚙ База — lerobot/smolvla_robotwin; модель рассчитана на consumer-grade железо.
• 🎮 Робот xlerobot_x: вход observation.state (14,) и три изображения 480×640, выход action (14,).
• 📊 Обучение на датасете из 50 эпизодов и 11 765 кадров при 15 FPS.
• 🔧 10 000 шагов, batch size 4, AdamW, learning rate 0.0001, LeRobot 0.6.2.
• ⚠ В карточке нет результатов оценки на реальном роботе.

💻 Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=xlerobot_x \
  --robot.port=<port> \
  --robot.cameras='{ cam_high: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, cam_left_wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}, cam_right_wrist: {type: opencv, index_or_path: 4, width: 640, height: 480, fps: 30}}' \
  --policy.path=ts-flake/smolvla_xlerobotx_stack_plates_two_clean \
  --task='Lift the ceramic plate with smooth surface, grab the smooth ceramic plate, and set the smooth ceramic plate on the ceramic plate with smooth surface.' \
  --duration=60

Подробнее

База: lerobot/smolvla_robotwin; робот: xlerobot_x.
Датасет: 50 эпизодов, 11 765 кадров, 15 FPS.
Обучение: 10 000 шагов, batch 4, AdamW, lr 0.0001, LeRobot 0.6.2.
Результатов оценки на реальном роботе в карточке нет.