ACT Pick-and-Place
политика захвата и укладки
2 min readupdated
Эта модель — политика imitation learning (обучение на демонстрациях) для робота ReBot B601. Она получает 7-мерное состояние и два изображения с камер — спереди и на запястье — и выдаёт 7-мерное действие. В основе ACT (Action Chunking with Transformers): метод предсказывает короткие последовательности действий, а не по одному шагу. Обучена в LeRobot на 72 эпизодах телеоператорских данных для задачи «взять inreach2 и положить в jig». Пригодится тем, кто собирает пайплайн обучения с подкреплением на реальном роботе и хочет готовый пример ACT.
Ключевые особенности
- ACT предсказывает короткие чанки действий, а не отдельные шаги.
- На входе — 7-мерное состояние и два изображения 480×640: камера спереди и на запястье.
- Обучена для робота
rebot_b601_followerв LeRobot. - Датасет: 72 эпизода, 74 932 кадра, 30 FPS; задача — взять inreach2 и положить в jig.
- Лицензия Apache-2.0, около 50 млн параметров.
Что можно сделать
- Запустить политику на совместимом ReBot B601 через
lerobot-rollout. - Переобучить ACT под свою задачу на собственных телеоператорских демонстрациях.
- Использовать как готовый пример пайплайна LeRobot для imitation learning.
- Сравнить с собственной политикой на той же задаче, если есть одинаковое железо и камеры.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=rebot_b601_follower \
--robot.port=<your_robot_port> \
--robot.cameras="{ cam_front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, cam_wrist: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
--policy.path=chenproject35/act_pick-and-place-b601-hil-72ep-yaw0_hil_36ep \
--task="Pick up inreach2 and place it in the jig." --duration=60
Подробнее
Оценки на реальном роботе в карточке нет.Обучение: 23 400 шагов, batch size 32, optimizer AdamW, learning rate 1e-5.
Данные: 72 эпизода, 74 932 кадра при 30 FPS.
Важно: имена камер должны совпадать с ключами, на которых обучалась политика.










Comments