SmolVLA SO101

Это файнтюн компактной vision-language-action модели SmolVLA от автора hubnemo для робота so101_follower. Политика обучена в LeRobot брать фиолетовый кубик и класть его в картонную коробку, игнорируя другие объекты. База — lerobot/smolvla_base, лицензия apache-2.0.

✨ Ключевые особенности

• 👁 Вход: состояние робота (6,) и одно изображение с камеры front 3×480×640.
• 📌 Выход: вектор действий (6,).
• 📓 Обучение на датасете so101_sort_cubes_no_top: 77 эпизодов, 54 777 кадров, 30 FPS.
• 🔨 10 000 шагов, batch size 16, AdamW, learning rate 1e-4, seed 1000, LeRobot 0.7.1.
• 💻 Запуск и дообучение через CLI LeRobot; по описанию SmolVLA модель можно разворачивать на consumer-grade железо.

🧃 Пример

Запуск политики на роботе:

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so101_follower \
  --robot.port=<your_robot_port> \
  --robot.cameras="{ front: {type: opencv, index_or_path: <index>, width: 640, height: 480, fps: 30} }" \
  --policy.path=hubnemo/so101_smolvla_exp02_fixed_bs16_steps10k_lr5e-4 \
  --task="Grab the purple cube and put it into the cardboard box, ignore the other objects" \
  --duration=60

Подробнее

Оценки на реальном роботе в карточке нет.
Данные: 77 эпизодов, 54 777 кадров при 30 FPS.
Обучение: 10k шагов, batch 16, lr 1e-4, AdamW, seed 1000, LeRobot 0.7.1.
Для запуска нужны порт робота и камеры, совпадающие с observation-ключами; лицензия apache-2.0.