SmolVLA для SO101
политика, которая переливает кубик
2 min readupdated
SmolVLA — компактная vision-language-action модель (VLA: на входе изображения и состояние робота, на выходе команды действиям), которую можно запускать на потребительском железе. Этот чекпоинт — политика для робота SO101: она смотрит на камеры и состояние манипулятора и выдаёт 6-мерное действие, чтобы перелить кубик из исходной чашки в целевую. Модель дообучена от lerobot/smolvla_base, содержит около 0,45 млрд параметров и обучена на 50 эпизодах (33 360 кадров, 30 FPS). Пригодится тем, кто собирает SO101 и хочет проверить готовый навык или использовать его как пример обучения с имитацией в LeRobot.
Ключевые особенности
- Компактная VLA-политика на ~0,45 млрд параметров, дообучена от
lerobot/smolvla_base. - На входе — состояние (6,) и изображения с камер; на выходе — 6-мерное действие.
- Заточена под робота
so_followerс камерамиfrontиwrist. - Обучение: 50 эпизодов, 33 360 кадров при 30 FPS, 2500 шагов.
- Оценки успешности на реальном роботе в карточке пока нет.
Что можно сделать
- Запустить политику на своём SO101 через
lerobot-rolloutи проверить переливание кубика. - Собрать датасет в LeRobot и дообучить
smolvla_baseпод другую манипуляцию. - Разобрать пример пайплайна imitation learning для робота с двумя камерами.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port=<your_robot_port> \
--robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
--policy.path=amais23/so101_smolvla_cube_pouring \
--task="Pour the cube from the source cup into the target cup" \
--duration=60
Подробнее
База:lerobot/smolvla_base, лицензия Apache-2.0.Данные: 50 эпизодов, 33 360 кадров при 30 FPS; обучение — 2500 шагов, batch size 16, AdamW, lr 1e-4, seed 1000, LeRobot 0.6.1.
Робот:
so_follower, камеры front и wrist; вход — состояние (6,) и изображения, выход — действие (6,).Оценки успешности на реальном роботе в карточке нет.










Comments