ACT для SO-101

Это ACT-политика имитационного обучения от fabono: предсказывает короткие чанки действий, а не отдельные шаги. Обучена в LeRobot для робота so_follower с камерами wrist и top; на входе 6-мерное состояние и два изображения 480×640, на выходе 6-мерное действие. Около 50M параметров.

✨ Ключевые особенности

• 🦾 ACT учится на телеоперационных данных и, по описанию метода, часто даёт высокий success rate.
• 👁 Две камеры: wrist и top; наблюдения — state (6,), images (3, 480, 640).
• ✅ Задача: «Take the black cube out of the blue drawer with the yellow handle and put it on the table.»
• 🔥 Обучение: 50 эпизодов, 33 631 кадр, 30 FPS; 50 000 шагов, batch 16, AdamW, lr 1e-5.
• ⬇ Запуск и дообучение через CLI LeRobot; лицензия Apache-2.0.

😎 Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=/dev/ttyACM0 \
  --robot.cameras="{ wrist: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, top: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30}}" \
  --policy.path=fabono/act_so101_pickup_in_drawer \
  --task="Take the black cube out of the blue drawer with the yellow handle and put it on the table." \
  --duration=60

Подробнее

Бенчмарков и оценки на реальном роботе в карточке пока нет.
Данные: 50 эпизодов, 33 631 кадр, 30 FPS.
Обучение: 50k шагов, batch 16, lr 1e-5, LeRobot 0.6.1.
Лицензия Apache-2.0; требования к VRAM не указаны.