SmolVLA для SO101

SmolVLA — компактная vision-language-action модель на 0,45 млрд параметров, обученная в LeRobot для робота so_follower. Политика принимает состояние и изображение с камеры на запястье, а выдаёт 6-мерный вектор действий.

✅ Ключевые особенности

• 🦾 Это файнтюн SmolVLA под конкретную задачу, а не универсальная модель.
• 👁 Вход: observation.state (6,) и observation.images.wrist (3×480×640).
• 🤝 Выход: action (6,) для робота типа so_follower.
• 🔥 Обучение на 38 эпизодах: 20 033 кадра при 30 FPS.
• ✅ Запуск и дообучение описаны через CLI LeRobot.

🔥 Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --policy.path=eVorob/so101_bed_clear_smolvla \
  --task="Remove the print from the bed and drop it in the bin" \
  --duration=60

Подробнее

Оценки на реальном роботе в карточке нет — success rate не указан.
Обучение: 20 000 шагов, batch size 8, AdamW, lr 0.0001, seed 1000, LeRobot 0.7.0.
Данные: 38 эпизодов, 20 033 кадра, 30 FPS; задача — снять принт с кровати и бросить в корзину.
SmolVLA заявлена как компактная модель для consumer-grade железа; отдельных требований к VRAM нет.