ACT Jenga2

ACT (Action Chunking with Transformers) — политика от michaelnique для робота so_follower: имитационное обучение на телеоперационных данных, 0.05B параметров. Модель обучена в LeRobot; на входе — состояние (6,) и два изображения 480×640 с камер wrist и front, на выходе — 6-мерное действие.

🔥 Ключевые особенности

• 🦾 ACT предсказывает короткие чанки действий вместо одиночных шагов и учится на телеоперационных данных.
• 👁 Входы: observation.state (6,), observation.images.wrist и observation.images.front — по (3, 480, 640).
• ✅ Выход: action (6,); обучение в LeRobot на 31 эпизоде, 38 395 кадрах при 30 FPS.
• 🤫 Задача в датасете — «Staple 3 jengas»; политика привязана к so_follower и камерам wrist/front.
• 📉 Оценки на реальном роботе в карточке нет; успешность пока не подтверждена.
• 😔 Лицензия не указана — перед использованием стоит уточнить условия.

✅ Пример запуска

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --robot.cameras='{ wrist: {...}, front: {...} }' \
  --policy.path=michaelnique/act_jenga2_20261103_223754 \
  --task='Staple 3 jengas' \
  --duration=60

Подробнее

Обучение: 100 000 шагов, batch size 8, AdamW, learning rate 1e-5, LeRobot 0.6.2.
Данные: 31 эпизод, 38 395 кадров, 30 FPS.
Ограничения: лицензия не указана, оценки успешности нет, политика привязана к so_follower и камерам wrist/front.
Требования к VRAM/железу в карточке не указаны.