ACT subtask k4_2_4seg

ACT-политика от Haku-2004, обученная через LeRobot для задачи “taskbox”. Это imitation learning: модель получает состояние и изображения с двух камер и предсказывает короткие чанки действий. Около 50 млн параметров, робот — so_follower.

👁 Ключевые особенности

• 🤖 ACT предсказывает короткие action chunks, а не отдельные шаги.
• 👁 На входе: observation.state (6,) и два изображения front/side по (3, 480, 640).
• ➡ На выходе: action (6,).
• 📓 Датасет k4_2_4seg: 15 эпизодов, 18 566 кадров, 30 FPS, задача “taskbox”.
• 🔨 Обучение: 50 000 шагов, batch size 8, AdamW, lr 1e-5, LeRobot 0.5.2.

▶ Пример запуска

lerobot-rollout --strategy.type=base --robot.type=so_follower --robot.port=<your_robot_port> --robot.cameras="{ <camera_1>: {type: opencv, index_or_path: <index_or_path>, width: 640, height: 480, fps: 30}, <camera_2>: {type: opencv, index_or_path: <index_or_path>, width: 640, height: 480, fps: 30}}" --policy.path=Haku-2004/act_subtask_k4_2_4seg --task="“taskbox”" --duration=60

Подробнее

Оценки на реальном роботе в карточке нет.
Для запуска нужны so_follower, порт и две камеры; имена камер должны совпадать с front и side.
Лицензия — apache-2.0. Данные небольшие: 15 эпизодов.