ACT для SO101

Политика ACT (Action Chunking with Transformers) от Emadodin для робота SO101: учится по телеоперационным данным и предсказывает короткие чанки действий вместо одиночных шагов. Обучена в LeRobot на задаче «pick the green cube and place it in the target zone»; размер — около 0,05 млрд параметров.

📌 Ключевые особенности

• 🖥 Робот SO101; используются камеры wrist и top.
• 👀 Входы — два изображения (3, 480, 640) и состояние (6,), выход — действие (6,).
• 📊 Датасет: 111 эпизодов, 78 225 кадров, 50 FPS; задача — взять зелёный кубик и положить в целевую зону.
• ⚙ Обучение: 20 000 шагов, batch size 8, оптимизатор AdamW, learning rate 1e-5, LeRobot 0.7.0.
• ⚠ Автор пока не опубликовал результаты оценки на реальном роботе.

💻 Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so101 \
  --robot.port=<your_robot_port> \
  --policy.path=Emadodin/act_so101_manual_v1 \
  --task="pick the green cube and place it in the target zone" \
  --duration=60

Подробнее

Бенчмарков нет: в карточке указано, что результаты оценки не предоставлены.
Для запуска нужен SO101, порт робота и камеры wrist/top; имена камер должны совпадать с ключами наблюдений политики.
Лицензия в карточке не указана.
Обучение шло на 111 эпизодах и 78 225 кадрах при 50 FPS.