SmolVLA

Это компактная vision-language-action модель SmolVLA (0,45 млрд параметров) от team-sobits, дообученная в LeRobot для мобильного манипулятора. Политика получает 20-мерное состояние и изображения с head_camera и hand_left_camera, а выдаёт 20-мерный вектор действий. Задача — бросить томатную банку в мусорное ведро.

🔮 Ключевые особенности

• 🔥 Дообучена от lerobot/smolvla_base, лицензия Apache-2.0.
• 💻 Рассчитана на mobile_manipulator с двумя камерами.
• 📚 Датасет: 200 эпизодов, 48 141 кадр при 10 FPS.
• ⏰ 60 000 шагов обучения, batch size 16, AdamW, lr 1e-4, seed 1000.

💻 Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=mobile_manipulator \
  --robot.port=YOUR_ROBOT_PORT \
  --robot.cameras='{ head_camera: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, hand_left_camera: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}' \
  --policy.path=team-sobits/sobit_home_left_sim-pnp_tomato_trash-abs-200ep-smolvla_fft-steps60k-decay60k \
  --task='Throw the tomato can into the trash bin' \
  --duration=60

Подробнее

Бенчмарков и оценки на реальном роботе в карточке нет.
Обучение: 60 000 шагов, batch size 16, AdamW, lr 1e-4.
Данные: 200 эпизодов, 48 141 кадр при 10 FPS.
Требования к VRAM не указаны; политика обучена под конкретную задачу и две камеры.