ACT SO-101

Это ACT-политика (Action Chunking with Transformers) для робота so_follower, обученная и опубликованная через LeRobot. У модели около 0,05B параметров (≈50M): на входе 6-мерное состояние и два изображения 240×320 с камер top и wrist, на выходе 6-мерное действие. Задача — взять красный кубик и положить его в серую коробку.

⚙ Ключевые особенности

• ⚙ ACT предсказывает короткие чанки действий вместо одиночных шагов и учится на телеоперационных данных.
• 📷 Две камеры — top и wrist; наблюдения включают состояние (6,) и два VISUAL-входа (3, 240, 320).
• 🧭 Политика рассчитана на робота so_follower и запускается через lerobot-rollout.
• 📌 Обучение: 5000 шагов, batch size 8, оптимизатор AdamW, learning rate 1e-05, seed 1000, LeRobot 0.6.2.
• 🗂 Датасет: 5 эпизодов, 2119 кадров, 30 FPS; задача — «Pick up the red cube and place it in the grey box.»
• ❗ Результатов оценки на реальном роботе в карточке нет.

💻 Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --policy.path=SebasKoedam/act_so101_training_2 \
  --task="Pick up the red cube and place it in the grey box." \
  --duration=60

Подробнее

Бенчмарков нет: в карточке указано «No evaluation results».
Данные: 5 эпизодов и 2119 кадров при 30 FPS.
Обучение: 5000 шагов, batch size 8, AdamW, learning rate 1e-05, seed 1000, LeRobot 0.6.2.
Ограничение: узкая задача и мало данных; для запуска нужны порт робота и камеры, совпадающие с observation keys.