grasp_lever_act_depth

Это политика имитационного обучения ACT (Action Chunking with Transformers) от CGdigipen, обученная и опубликованная через LeRobot. Она управляет роботом so_follower и предсказывает 6-мерные действия по состоянию и трём камерам. Размер — около 0,05 млрд параметров.

✨ Ключевые особенности

• 🤖 Робот: so_follower; камеры HEAD, RIGHT и RIGHT_depth.
• 👁 Входы: состояние (6,), два RGB-кадра 480×640 и depth-карта 480×640.
• ✅ Выход: вектор действия (6,).
• 📓 Обучение на датасете grasp_lever_depth: 122 эпизода, 86 376 кадров, 30 FPS.
• 🔨 80 000 шагов, batch size 16, AdamW, lr 1e-5, LeRobot 0.6.2.

💻 Пример

lerobot-rollout --strategy.type=base --robot.type=so_follower --robot.port=<your_robot_port> --robot.cameras="{ HEAD: {...}, RIGHT: {...}, RIGHT_depth: {...} }" --policy.path=CGdigipen/grasp_lever_act_depth --task="grasp the lever handle" --duration=60

Имена и индексы камер нужно подставить свои; они должны совпадать с ключами наблюдений политики.

Подробнее

Оценки на реальном роботе в карточке нет.
Для запуска нужен so_follower и камеры HEAD, RIGHT, RIGHT_depth с разрешением 640×480 при 30 FPS.
Лицензия в карточке не указана; обучение — 80 000 шагов на 122 эпизодах.