ACT block

ACT block — политика имитационного обучения на базе метода ACT, обученная и опубликованная через LeRobot. Это небольшая модель (~0,05 млрд параметров) для робота so_follower: по состоянию и двум камерам она выдаёт команды действий. Задача — перенести деревянный блок в зелёную миску.

🔤 Ключевые особенности

• ▶ Метод ACT: предсказывает короткие чанки действий, а не отдельные шаги.
• 🔤 Обучена через LeRobot для робота so_follower.
• 0⃣ Вход: состояние (6,) и два изображения 480x640 с камер wrist и top.
• 1⃣ Выход: вектор действия (6,).
• 2⃣ Датасет: 140 эпизодов, 35024 кадра при 30 FPS; задача — «wooden block to green bowl».
• 3⃣ 40 000 шагов обучения, batch size 8, AdamW, lr 1e-5.

1⃣ Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --robot.cameras="{ <camera_1>: {type: opencv, index_or_path: <index_or_path>, width: 640, height: 480, fps: 30}, <camera_2>: {type: opencv, index_or_path: <index_or_path>, width: 640, height: 480, fps: 30}}" \
  --policy.path=sksak/act_block \
  --task="wooden block to green bowl" \
  --duration=60

Подробнее

Бенчмарков нет: карточка сообщает, что оценка на реальном роботе не предоставлена.
VRAM и требования к железу не указаны.
Обучение: 40 000 шагов, batch size 8, AdamW, lr 1e-5, seed 1000, LeRobot 0.6.2.
Датасет: 140 эпизодов, 35 024 кадра, 30 FPS.