pi05 для SO-101
робот берёт салфетки и кладёт в контейнер
2 min readupdated
Это vision-language-action-политика (VLA: модель получает изображения и состояние робота, а выдаёт команды действиям) π₀.₅ от Physical Intelligence в реализации LeRobot. Конкретный чекпоинт дообучен от lerobot/pi05_base под робота so_follower с камерами front и wrist: на вход идут 6-мерное состояние и два кадра 480×640, на выходе — 6-мерное действие. Обучение шло на 80 эпизодах (25 799 кадров, 30 FPS) для задачи «Grab the tissues and put them into the container». Пригодится как готовый пример VLA-политики для SO-101 и как старт для похожих манипуляций.
Ключевые особенности
- Основа — π₀.₅ /
pi05_base, модель для обобщения на новые условия. - Две камеры:
frontиwrist; вход — состояние(6,)и изображения(3, 480, 640). - Робот
so_follower, выход — вектор действия(6,). - 20 000 шагов обучения, batch size 8, AdamW, learning rate 2.5e-5, LeRobot 0.7.1.
- Результатов оценки на реальном роботе в карточке пока нет.
Что можно сделать
- Запустить политику на своём SO-101 через
lerobot-rolloutс задачей из карточки. - Взять конфигурацию камер и данных как пример для собственного пайплайна в LeRobot.
- Дообучить свою политику от
lerobot/pi05_baseна своём датасете.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port=<your_robot_port> \
--robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
--policy.path=boylel/pi05_lora_so101_tempo_combined \
--task="Grab the tissues and put them into the container" \
--duration=60
Подробнее
Дообучен отlerobot/pi05_base; датасет — 80 эпизодов, 25 799 кадров, 30 FPS.20 000 шагов, batch size 8, AdamW, lr 2.5e-5, seed 1000, LeRobot 0.7.1.
Вход: состояние (6,) и две камеры 480×640; выход: действие (6,).
Лицензия — gemma. Оценки успешности в карточке нет.










Comments