SmolVLA Orange

Файнтюн lerobot/smolvla_base на базе SmolVLA — vision-language-action модели на 0,45 млрд параметров. Политика обучена в LeRobot для робота so_follower выполнять задачу «Give me an orange» по визуальным наблюдениям. Заявлена работа на потребительском железе.

🎯 Ключевые особенности

• 🎯 Обучена на демонстрациях из датасета lsdyna/GiveMeOrange: 17 эпизодов, 9290 кадров при 30 FPS.
• 👀 Принимает состояние на 6 значений и три визуальных входа 256×256; выдаёт 6-мерный вектор действий.
• ⚙ Совместима с LeRobot 0.7.1: запуск через lerobot-rollout, дообучение через lerobot-train.
• 🧩 В карточке указаны камеры hand и orbbec; имена входов должны совпадать с обучением.
• ⚡ Компактный размер — 0,45 млрд параметров.

💡 Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --robot.cameras="{...}" \
  --policy.path=lsdyna/smolvla_orange \
  --task="Give me an orange" \
  --duration=60

Подробнее

База: lerobot/smolvla_base, лицензия Apache-2.0.
Обучение: 4000 шагов, batch size 16, AdamW, learning rate 0.0001.
Оценки успешности в карточке нет — только конфигурация и датасет.
Для запуска нужен робот so_follower и камеры, соответствующие observation-ключам.