SmolVLA pick_yellow_cube_v5_chunk100

Это компактная vision-language-action модель SmolVLA примерно на 0,45 млрд параметров, обученная в LeRobot для робота so_follower. Политика выполняет задачу «pick the yellow block and place it in brown box»: взять жёлтый блок и положить его в коричневую коробку. На вход получает состояние и изображения с камер, на выходе — 6-мерный вектор действий.

⚡ Ключевые особенности

• 🦾 Компактная VLA-архитектура SmolVLA: заявлена конкурентоспособная производительность при меньших вычислительных затратах и запуск на consumer-grade hardware.
• 👀 В карточке указаны камеры Top и Side; политика принимает observation.state размером (6,) и визуальные наблюдения с нескольких камер.
• 🎯 Целевая задача — взять жёлтый блок и положить его в коричневую коробку.
• 📀 Обучение шло на 100 эпизодах и 63 143 кадрах при 30 FPS; всего 100 000 шагов.
• 🧩 В релизе есть варианты chunk25, chunk50, chunk75 и chunk100.

🛸 Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --robot.cameras="{ camera1: {type: opencv, index_or_path: <index>, width: 640, height: 480, fps: 30}, camera2: {type: opencv, index_or_path: <index>, width: 640, height: 480, fps: 30}}" \
  --policy.path=ranjith3567/pick_yellow_cube_v5_chunk100 \
  --task="pick the yellow block and place it in brown box" \
  --duration=60

Подробнее

Обучение: 100 000 шагов, batch size 8, оптимизатор AdamW, learning rate 0.0001, seed 1000, LeRobot 0.6.2.
Данные: 100 эпизодов, 63 143 кадра, 30 FPS; задача — «pick the yellow block and place it in brown box».
Оценки на реальном роботе в карточке нет; лицензия не указана. Требования к VRAM/железу не приводятся, но SmolVLA заявлена для consumer-grade hardware.