SmolVLA-политика для робота

Это компактная vision-language-action модель на 0,45B параметров, дообученная от lerobot/smolvla_base. Политика управляет роботом so_follower по визуальным входам и состоянию из 6 значений, выдавая 6-мерные действия. Заточена под три задачи: взять левую, среднюю или правую чашку и поставить её.

✨ Ключевые особенности

• 🤖 Компактная VLA-архитектура: по карточке, конкурентоспособна при меньших вычислительных затратах и рассчитана на потребительское железо.
• 👀 Вход: observation.state (6) и три изображения 256×256; выход: action (6).
• ✅ Три обученные задачи — переставить левую, среднюю или правую чашку.
• 📌 Датасет: 239 эпизодов, 62 967 кадров, 30 FPS.
• 💻 Обучение и запуск через LeRobot 0.6.2; в карточке есть CLI-команды для rollout и дообучения.

💻 Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --policy.path=rbalazs/smolvla_demotrim \
  --task="Pick up the left cup and put it down" \
  --duration=60

Подробнее

Обучение: 40 000 шагов, batch size 32, AdamW, learning rate 1e-4.
Робот: so_follower, камеры front и iphone; имена камер должны совпадать с ключами наблюдений.
Готовых оценок успешности в карточке нет; требования к VRAM не указаны.