smolvla_so101_left_arm_3tasks

Это файнтюн lerobot/smolvla_base на базе SmolVLA — компактной vision-language-action модели (450M параметров), обученной для робота so_follower. Политика управляет левой рукой SO-101 по изображениям с камер top и wrist и текстовой инструкции; в обучении — три манипуляции с кубиками и ящиком.

🤓 Ключевые особенности

• 🗣 Понимает текстовую инструкцию: подмена задачи заметно меняет предсказанные действия.
• 😎 Компактная: 450M параметров, обучался только action expert (~100M), vision encoder заморожен.
• 📝 Три задачи: достать красный куб из кастрюли, открыть ящик и положить блок, сложить куб на синий.
• ⌨ Запуск и дообучение — через CLI LeRobot; на rollout камеры должны называться top и wrist.
• 🙁 Все 159 эпизодов попали в train: open-loop метрики — не оценка обобщения и не success rate.

⌨ Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --robot.cameras="{ top: {type: opencv, index_or_path: <idx>, width: 640, height: 360, fps: 30}, wrist: {type: opencv, index_or_path: <idx>, width: 640, height: 480, fps: 30}}" \
  --policy.path=khanhnd61/smolvla_so101_left_arm_3tasks \
  --task="Take the red cube out of the steel pot and place it into the orange hollow cube." \
  --duration=60

Подробнее

Open-loop MAE 1.66 против 8.64 у baseline «держать текущее состояние»; при подмене инструкции — 6.93.
Обучение: 41 801 шаг, batch 32, ~15 ч 17 мин на RTX 3060 12 GB; финальный training loss 0.024.
Реальных испытаний на роботе нет; предсказанные чанки примерно в 7 раз «нервнее» демонстраций — поможет сглаживание действий.