ACT-политика для so_follower

Это политика имитационного обучения ACT (Action Chunking with Transformers) от linabletarou для робота so_follower. Она предсказывает короткие чанки действий по состоянию и изображениям с камер front и wrist. Модель обучена через LeRobot и рассчитана на задачу «Grab the tape».

🔤 Ключевые особенности

• ▶ Архитектура ACT: предсказывает не одно действие, а короткие последовательности действий.
• 🔤 Входы: состояние (6) и два изображения 480×640 с камер front и wrist.
• 🔤 Выход: вектор действия размерности 6.
• 1⃣ Обучение: 20 000 шагов, batch size 8, AdamW, learning rate 1e-5, LeRobot 0.6.2.
• 2⃣ Датасет: 52 эпизода, 29 265 кадров при 30 FPS; задача «Grab the tape».

🔜 Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --policy.path=linabletarou/act_grab_tape_2cam_v2 \
  --task="Grab the tape" \
  --duration=60

Подробнее

Оценка успешности в карточке не опубликована.
Политика обучена под конкретного робота so_follower и камеры front/wrist; для запуска нужны свои порт и индексы камер.
Размер модели — около 0,05 млрд параметров; обучение заняло 20 000 шагов.