ACT для Franka

Это ACT-политика для робота franka_panda_sim_waypoint, обученная в LeRobot примерно на 0,05 млрд параметров. Она учится на телеоперированных данных и предсказывает короткие чанки действий вместо отдельных шагов.

🧩 Ключевые особенности

• 🦾 Action Chunking with Transformers: предсказывает короткие последовательности действий, а не один шаг за раз.
• 👀 Две камеры — overhead и wrist; изображения подаются в разрешении 240×320.
• 📀 Вход: две картинки и observation.state размером 17; выход: action размером 10.
• ⚙ Обучение: 100 000 шагов, batch size 8, AdamW, learning rate 1e-5, seed 1000, LeRobot 0.7.0.
• 🛑 Результатов оценки успешности в карточке пока нет.

💡 Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=franka_panda_sim_waypoint \
  --robot.port=<your_robot_port> \
  --robot.cameras=<camera_config> \
  --policy.path=nberezny/act_franka_pick_place_wp2 \
  --task="Pick up the red cube and place it on the blue square." \
  --duration=60

Подробнее

Метод: ACT (Action Chunking with Transformers).
Данные: 200 эпизодов, 30 404 кадра, 20 FPS; задача — взять красный куб и положить его на синий квадрат.
Обучение: 100 000 шагов, batch size 8, AdamW, lr 1e-5, seed 1000, LeRobot 0.7.0.
Ограничения: результатов оценки успешности нет, лицензия не указана.