ACT-политика для сортировки блоков

Это ACT-политика (Action Chunking with Transformers) для робота so_follower, обученная и опубликованная через LeRobot. Она предсказывает короткие чанки действий по состоянию из 6 значений и изображению с фронтальной камеры 480×640. Модель училась на 14 эпизодах (6733 кадра, 30 FPS) выполнять две задачи: положить красный блок в правую коробку и синий — в левую.

🤓 Ключевые особенности

• 🕺 ACT предсказывает короткие последовательности действий, а не отдельные шаги.
• 📝 Вход: observation.state формы (6,) и observation.images.front формы (3, 480, 640); выход: action формы (6,).
• 🕺 Политика рассчитана на робота so_follower с одной фронтальной камерой.
• 📝 Обучение: 30 000 шагов, batch size 8, оптимизатор AdamW, learning rate 1e-5, seed 1000, LeRobot 0.7.1.
• 📝 Размер модели — около 0.05 млрд параметров.

📝 Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so_follower \
  --robot.port=<your_robot_port> \
  --robot.cameras="{ front: {type: opencv, index_or_path: <index>, width: 640, height: 480, fps: 30}}" \
  --policy.path=namiciro/red-blue-act-policy-30k \
  --task="Put the red block in the right box" \
  --duration=60

Подробнее

Бенчмарков нет: в карточке указано, что результаты оценки не предоставлены.
Обучение: 14 эпизодов, 6733 кадра при 30 FPS; 30 000 шагов, batch size 8, AdamW, lr 1e-5.
Ограничение: политика настроена на so_follower и фронтальную камеру; имена камер должны совпадать с observation-ключами.
Лицензия в карточке не указана.