ACT
робот учится брать хирургические инструменты
2 мин чтенияобновлено
Это обучаемая политика (policy) на основе ACT — метода imitation learning (обучение по демонстрациям), который предсказывает не одно действие, а короткие последовательности действий. Модель обучена в LeRobot на 120 эпизодах: 48 454 кадра при 30 FPS. Она получает 6-мерное состояние и два изображения 480×640 с камер wrist и side, а выдаёт 6-мерное действие для робота so_follower. Задачи узкие: поднять Frazier Suction Tube или хирургическое лезвие и положить в синюю корзину. Пригодится тем, кто собирает imitation-learning пайплайн на LeRobot и хочет запустить готовый чекпоинт.
Ключевые особенности
- ACT предсказывает короткие чанки действий вместо одиночных шагов.
- Две камеры: wrist и side; изображения 480×640.
- Робот so_follower: вход state (6,), выход action (6,).
- Обучение: 120 эпизодов, 48 454 кадра, 30 FPS, 50 000 шагов.
- Чекпоинт для LeRobot 0.6.2, лицензия Apache-2.0.
Что можно сделать
- Запустить политику на so_follower через lerobot-rollout и проверить на своём столе.
- Записать свои демонстрации с камерами wrist/side и обучить ACT по гайду LeRobot.
- Использовать как готовый пример пайплайна: датасет, обучение, rollout и логирование.
- Разобрать, как ACT ведёт себя на узких pick-and-place задачах, прежде чем собирать свою политику.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port=<your_robot_port> \
--robot.cameras='{ wrist: {...}, side: {...}}' \
--policy.path=seriintan/act_marked_lang3a_frazier_blade \
--task='Pick up the Frazier Suction Tube and place it in the blue basket.' \
--duration=60
Подробнее
Бенчмарков и оценки успешности в карточке нет — указано «No evaluation results».Обучение: 50 000 шагов, batch size 16, AdamW, lr 1e-05, seed 1000, LeRobot 0.6.2.
Данные: 120 эпизодов, 48 454 кадра, 30 FPS; задачи — Frazier Suction Tube и surgical blade в синюю корзину.
Ограничение: политика обучена под so_follower и конкретные камеры wrist/side; для другого робота или раскладки камер потребуется адаптация.










Комментарии