ACT для SO-101
политика достаёт кубик из ящика
2 min read
Это ACT-политика имитационного обучения от fabono: предсказывает короткие чанки действий, а не отдельные шаги. Обучена в LeRobot для робота so_follower с камерами wrist и top; на входе 6-мерное состояние и два изображения 480×640, на выходе 6-мерное действие. Около 50M параметров.
Ключевые особенности
- ACT учится на телеоперационных данных и, по описанию метода, часто даёт высокий success rate.
- Две камеры: wrist и top; наблюдения — state (6,), images (3, 480, 640).
- Задача: «Take the black cube out of the blue drawer with the yellow handle and put it on the table.»
- Обучение: 50 эпизодов, 33 631 кадр, 30 FPS; 50 000 шагов, batch 16, AdamW, lr 1e-5.
- Запуск и дообучение через CLI LeRobot; лицензия Apache-2.0.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port=/dev/ttyACM0 \
--robot.cameras="{ wrist: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, top: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
--policy.path=fabono/act_so101_pickup_in_drawer \
--task="Take the black cube out of the blue drawer with the yellow handle and put it on the table." \
--duration=60
Подробнее
Бенчмарков и оценки на реальном роботе в карточке пока нет.Данные: 50 эпизодов, 33 631 кадр, 30 FPS.
Обучение: 50k шагов, batch 16, lr 1e-5, LeRobot 0.6.1.
Лицензия Apache-2.0; требования к VRAM не указаны.










Comments