smolvla_orange_all

Это файнтюн SmolVLA — компактной vision-language-action модели на 0,45 млрд параметров, обученной через LeRobot. Политика предназначена для робота so_follower: получает состояние и три камеры, а на выходе выдаёт управляющие действия.

⚙ Ключевые особенности

• 🧭 База — lerobot/smolvla_base; SmolVLA заявлена как эффективная VLA-модель для consumer-grade железа.
• 🤖 Робот so_follower, камеры hand и orbbec.
• 📡 На входе observation.state (6) и три VISUAL-кадра (3, 256, 256); на выходе action (6).
• 🗂 Обучение на датасете lsdyna/orange_all: 120 эпизодов, 34 278 кадров, 30 FPS.
• 🎯 Задача — взять апельсин и переложить его в другое место; в карточке есть формулировки на русском и китайском.

⌨ Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --robot.cameras="{ hand: {type: opencv, index_or_path: <idx1>, width: 640, height: 480, fps: 30}, orbbec: {type: opencv, index_or_path: <idx2>, width: 640, height: 480, fps: 30}}" \
  --policy.path=lsdyna/smolvla_orange_all \
  --task="Pick up the orange and put it on the other side of the table." \
  --duration=60

Подробнее

Параметры: около 0,45 млрд; обучение — 7500 шагов, batch 32, AdamW, lr 1e-4.
Датасет: 120 эпизодов, 34 278 кадров при 30 FPS.
Ограничения: оценки на реальном роботе в карточке нет; политика привязана к so_follower и камерам hand/orbbec.
Лицензия apache-2.0.