SmolVLA-политика для openarm

Файнтюн компактной vision-language-action модели SmolVLA (0.45B параметров) от автора ethanCSL, обученный в LeRobot на роботе openarm_umeow с тремя камерами. На вход политика получает 6 значений состояния и три кадра 256×256, на выходе — 16-мерный вектор действий.

⚙ Ключевые особенности

• 🎯 Одна задача: взять банку Pringles правой рукой и передать её в левую.
• 📀 Три камеры: body_cam, wrist_cam, right_wrist_cam.
• 🧩 Обучение на 65 эпизодах (16 654 кадра, 30 FPS) из датасета real-to-sim.
• 💡 20 000 шагов, batch size 16, AdamW, learning rate 1e-4 — весь конфиг есть в карточке.
• ⚡ База — lerobot/smolvla_base, запуск через lerobot-rollout на потребительском железе.

🫡 Пример запуска

lerobot-rollout \
  --strategy.type=base \
  --robot.type=openarm_umeow \
  --robot.port=<your_robot_port> \
  --policy.path=ethanCSL/openarm_pringles_lerobot_real_to_sim_10_3cam_v00 \
  --task="Pick up the Pringles can with the right arm, hand it to the left arm" \
  --duration=60

Подробнее

Лицензия Apache-2.0, обучение в LeRobot 0.6.2.
Результатов оценки автор пока не привёл — success rate не указан.
Имена и индексы камер в команде должны совпадать с ключами наблюдений, на которых обучалась политика.
Это файнтюн под конкретного робота и задачу, а не универсальная модель.