ACT для so_follower

ACT (Action Chunking with Transformers) — метод imitation learning, который предсказывает короткие чанки действий вместо одиночных шагов. Этот чекпоинт обучен в LeRobot для робота so_follower с одной камерой overhead; в метаданных указано около 0.05B параметров. На входе — состояние (6,) и изображение (3, 480, 640), на выходе — 6-мерный action.

⚙ Ключевые особенности

• ⚙ Метод ACT: предсказание коротких action chunks, обучение на телеоперационных данных.
• 👀 Одна камера overhead: observation.images.overhead, 3×480×640.
• ▶ Вход observation.state (6,) → выход action (6,).
• 📊 Датасет: 15 эпизодов, 6288 кадров, 30 FPS; задача обозначена как "0".
• 🕒 Обучение: 100 000 шагов, batch size 8, AdamW, lr 1e-05, seed 1000, LeRobot 0.5.2.

💻 Пример

Запуск на роботе; замените плейсхолдеры:

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<port> \
  --robot.cameras="{ overhead: {type: opencv, index_or_path: <index>, width: 640, height: 480, fps: 30}}" \
  --policy.path=Screener2/act_AnchoredCamera_20261028_sim \
  --task="0" \
  --duration=60

Подробнее

Оценки на реальном роботе в карточке нет.
Для запуска нужны so_follower, камера overhead и совпадение имён камер с observation-ключами.
Данные: 15 эпизодов, 6288 кадров, 30 FPS; обучение — 100 000 шагов.
Лицензия apache-2.0.