pi05 для mobile_manipulator
бросает банку-томат в мусорку
2 мин чтения
Это VLA-политика (vision-language-action: модель получает изображения с камер и состояние робота, а выдаёт команды действия) на базе lerobot/pi05_base от Physical Intelligence. Её дообучили в LeRobot под мобильный манипулятор: робот с камерой на голове и левой руке должен бросить томатную банку в мусорное ведро. На входе — состояние из 20 значений и два изображения, на выходе — 20-мерный вектор action. Это узкий файнтюн под одну задачу, а не универсальный робот; он пригодится, чтобы воспроизвести пайплайн LeRobot и потренироваться на похожих манипуляциях.
Ключевые особенности
- База —
lerobot/pi05_base, дообучение подmobile_manipulator. - Две камеры:
head_camera480×640 иhand_left_camera400×640. - Одна задача: «Throw the tomato can into the trash bin».
- Датасет: 200 эпизодов, 48 141 кадр, 10 FPS.
- Оценки успешности на роботе пока нет.
Что можно сделать
- Запустить политику через
lerobot-rolloutна своёмmobile_manipulatorи проверить поведение. - Собрать похожий датасет и дообучить
pi05_baseпод свою задачу манипуляции.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=mobile_manipulator \
--robot.port=<your_robot_port> \
--policy.path=team-sobits/sobit_home_left_sim-pnp_tomato_trash-abs-200ep-pi05_vlmlora_nostate-steps30k-decay30k \
--task="Throw the tomato can into the trash bin" \
--duration=60
Подробнее
Дообучение: 30 000 шагов, batch size 32, AdamW, lr 2.5e-05.Данные: 200 эпизодов, 48 141 кадр, 10 FPS.
Вход: state (20,) + два изображения; выход: action (20,).
Оценки успешности пока нет; лицензия Apache-2.0.










Комментарии