act_so101_tube_plate

Это политика имитационного обучения ACT от hyelyn78 для робота so_follower (SO101), обученная в LeRobot. Она выполняет задачу «Pick the tube and place it on the plate» на данных из 50 эпизодов. Размер — около 50 млн параметров.

🔍 Ключевые особенности

• 🖥 Обучена для робота so_follower; используются камеры top и wrist.
• 👀 Входы: состояние (6,) и два изображения 3×480×640; выход — действие (6,).
• ⚙ ACT предсказывает короткие чанки действий, а не отдельные шаги.
• 📚 Датасет hyelyn78/so101_tube_plate_clean: 50 эпизодов, 16 847 кадров, 30 FPS.
• 🕒 Обучение: 50 000 шагов, batch size 8, AdamW, lr 1e-5, seed 1000, LeRobot 0.6.2.

▶ Пример запуска

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --robot.cameras="{ top: {type: opencv, index_or_path: <index>, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: <index>, width: 640, height: 480, fps: 30}}" \
  --policy.path=hyelyn78/act_so101_tube_plate \
  --task="Pick the tube and place it on the plate" \
  --duration=60

Подробнее

Бенчмарков нет: в карточке указано, что результаты оценки пока не предоставлены.
Лицензия не указана.
Для запуска нужны SO101/so_follower, порт робота и две камеры; имена камер должны совпадать с observation keys top и wrist.
Обучение шло 50 000 шагов на датасете из 50 эпизодов.