ACT для Franka
захват и укладка кубика в симуляции
1 min readupdated
ACT (Action Chunking with Transformers) — метод imitation learning, который предсказывает короткие чанки действий, а не отдельные шаги. Политика от nberezny обучена в LeRobot для робота franka_panda_sim: по изображениям с камер overhead и wrist и 8-мерному состоянию она выдаёт 8-мерное действие. Размер — около 0,05 млрд параметров.
Ключевые особенности
- Задача: поднять красный кубик и положить его на синий квадрат.
- Два визуальных входа:
overheadиwrist, кадры 240×320. - Вход состояния — 8 чисел, выход действия — 8 чисел.
- Обучение на датасете
nberezny/franka_pick_place_dart: 100 эпизодов, 15 959 кадров при 20 FPS. - 100 000 шагов, batch size 8, AdamW, learning rate 1e-5, LeRobot 0.7.0.
Пример
Фрагмент команды запуска через lerobot-rollout:
lerobot-rollout --strategy.type=base --robot.type=franka_panda_sim --robot.port=<your_robot_port> --policy.path=nberezny/act_franka_pick_place_dart --task="Pick up the red cube and place it on the blue square." --duration=60
Подробнее
Оценки успешности в карточке нет — приведён только процесс обучения.Политика обучена для симулятора
franka_panda_sim.Датасет: 100 эпизодов, 15 959 кадров, 20 FPS.
Требования к VRAM/железу не указаны.










Comments