ACT-политика для Piper
захват кружки с трёх камер
2 min readupdated
Это обученная политика ACT (Action Chunking with Transformers — метод imitation learning, который предсказывает короткие чанки действий вместо одиночных шагов) для робота Piper. На вход она получает состояние из 7 чисел и три камеры — camera_hand, camera_chest и camera_top, а на выходе выдаёт 7-мерное действие. Тренировалась в LeRobot на 89 эпизодах (56 962 кадра, 15 FPS) для задачи захвата кружки. Запускать её можно на совместимом роботе через lerobot-rollout; результатов оценки на реальном железе в карточке пока нет.
Ключевые особенности
- ACT предсказывает чанки действий — это может давать более устойчивое поведение, чем пошаговое управление.
- Три камеры:
camera_hand,camera_chestиcamera_top, каждая с разрешением 360×640. - Вход —
observation.stateформы(7,), выход —actionформы(7,). - Обучение шло 100 000 шагов в LeRobot 0.6.1 с batch size 8, AdamW и learning rate 1e-5.
- Лицензия Apache 2.0 — можно использовать и адаптировать под свои задачи.
Что можно сделать
- Запустить политику на своём Piper через
lerobot-rollout, указав порт робота и камеры. - Записать собственные телеоперационные демонстрации и обучить свою ACT-политику по примеру из карточки.
- Разобрать готовый пайплайн LeRobot для imitation learning и перенести его на другую манипуляцию.
- Проверить политику на своём столе и собрать статистику успеха, которой пока нет в карточке.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=<your_robot_type> \
--robot.port=<your_robot_port> \
--policy.path=advanced-control/act_piper_pickup_mug_any_to_any \
--task="task" \
--duration=60
Подробнее
Обучение: 100 000 шагов, batch size 8, AdamW, lr 1e-5, seed 1000, LeRobot 0.6.1.Данные: 89 эпизодов, 56 962 кадра, 15 FPS.
Вход: состояние
(7,) и три камеры (3, 360, 640); выход: действие (7,).Оценки на реальном роботе в карточке нет — успешность неизвестна.
Лицензия Apache 2.0.










Comments