SmolVLA Sponge Pick

Это дообученная политика SmolVLA от mharbovskyi: компактная vision-language-action модель на ~0,45 млрд параметров, которая управляет роботом so_follower по изображениям с трёх камер. Она обучена класть красную или жёлтую губку в миску. База — lerobot/smolvla_base, обучение и запуск — через LeRobot.

😎 Ключевые особенности

• 🤝 Основана на lerobot/smolvla_base — компактной VLA-модели.
• 📝 Дообучена под робота so_follower с камерами wrist, top и side.
• 👌 Выполняет две задачи: «Put the red sponge in the bowl» и «Put the yellow sponge in the bowl».
• 🤓 Входы: состояние (6,) и три изображения 256×256; выход — действие (6,).
• ⌨ Запуск через lerobot-rollout, обучение через lerobot-train.
• 🙃 Датасет: 66 эпизодов, 27 675 кадров при 30 FPS; обучение — 20 000 шагов.

🤔 Пример

lerobot-rollout --strategy.type=base --robot.type=so_follower --robot.port=<your_robot_port> --policy.path=mharbovskyi/smolvla_sponge_pick_r_y_v1_1110_2339 --task="Put the red sponge in the bowl" --duration=60

Подробнее

Оценки на реальном роботе в карточке нет — таблица успешности не заполнена.
Обучение: 20 000 шагов, batch size 32, AdamW, learning rate 1e-4, seed 1000, LeRobot 0.7.1.
Ограничения: политика заточена под so_follower и три камеры; датасет — 66 эпизодов, 27 675 кадров при 30 FPS.
Лицензия — Apache-2.0.