act-pick-and-stack-final

Это политика на базе ACT (Action Chunking with Transformers) от Tron-Hayato, обученная в LeRobot для робота so_follower. Она предсказывает короткие чанки действий по телеоперационным данным и решает задачу: брать блоки слева и складывать их на блоки справа. По метаданным — около 0.05 млрд параметров.

➕ Ключевые особенности

• ▶ Метод ACT предсказывает короткие последовательности действий, а не отдельные шаги.
• ➕ На входе: состояние (6,) и три камеры — side, wrist, top, каждая 480×640.
• ◀ На выходе: вектор действия (6,) для робота so_follower.
• 🔜 Запуск через lerobot-rollout; результаты оценки на реальном роботе в карточке не опубликованы.

▶ Пример запуска

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --robot.cameras="{ side: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}, top: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy.path=Tron-Hayato/act-pick-and-stack-final \
  --task="Pick up blocks on the left one by one and stack them on top of the blocks on the right side" \
  --duration=60

Подробнее

Обучение: 20 000 шагов, batch size 8, AdamW, lr 1e-5, seed 1000, LeRobot 0.6.1.
Данные: 80 эпизодов, 167 957 кадров, 30 FPS; задача — складывать блоки слева на блоки справа.
Оценка на реальном роботе не приведена; нужны so_follower и камеры side, wrist, top.
Лицензия Apache-2.0.