chesster_act_v2

Это политика обучения с имитацией на основе ACT (Action Chunking with Transformers) от OlenaG. Она обучена в LeRobot на телеоперационных данных робота so_follower: по состоянию (6 значений) и трём камерам предсказывает 6-мерное действие. Размер — 50M параметров (0,05B).

🤔 Ключевые особенности

• 🤓 ACT предсказывает короткие чанки действий, а не отдельные шаги; метод описан в статье 2304.13705.
• 😎 Три камеры — top, front, hand; вход: state (6,), выход: action (6,).
• 🕺 Робот — so_follower; задача: «Grab the figure from the blue square and put it into the green square».
• 📝 Обучение: 50 эпизодов, 40 698 кадров при 30 FPS; 60 000 шагов, batch size 1, AdamW, learning rate 1e-5.
• ⌨ Запуск и дообучение — через CLI LeRobot.

⌨ Пример запуска

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --robot.cameras="{ top: {type: opencv, index_or_path: <idx_top>, width: 640, height: 480, fps: 30}, front: {type: opencv, index_or_path: <idx_front>, width: 640, height: 480, fps: 30}, hand: {type: opencv, index_or_path: <idx_hand>, width: 640, height: 360, fps: 30}}" \
  --policy.path=OlenaG/chesster_act_v2 \
  --task="Grab the figure from the blue square and put it into the green square" \
  --duration=60

Подробнее

Обучение: 60 000 шагов, batch size 1, AdamW, learning rate 1e-5, seed 1000, LeRobot 0.6.2.
Данные: 50 эпизодов, 40 698 кадров при 30 FPS.
Оценки успешности пока нет; лицензия в карточке не указана.
Вход: state (6,), три изображения 480×640 и 360×640; выход — action (6,).