ACT для Franka

ACT (Action Chunking with Transformers) — метод imitation learning, который предсказывает короткие чанки действий, а не отдельные шаги. Политика от nberezny обучена в LeRobot для робота franka_panda_sim: по изображениям с камер overhead и wrist и 8-мерному состоянию она выдаёт 8-мерное действие. Размер — около 0,05 млрд параметров.

🎯 Ключевые особенности

• 🎯 Задача: поднять красный кубик и положить его на синий квадрат.
• 👀 Два визуальных входа: overhead и wrist, кадры 240×320.
• 🧩 Вход состояния — 8 чисел, выход действия — 8 чисел.
• 📀 Обучение на датасете nberezny/franka_pick_place_dart: 100 эпизодов, 15 959 кадров при 20 FPS.
• ⚙ 100 000 шагов, batch size 8, AdamW, learning rate 1e-5, LeRobot 0.7.0.

🧩 Пример

Фрагмент команды запуска через lerobot-rollout:

lerobot-rollout --strategy.type=base --robot.type=franka_panda_sim --robot.port=<your_robot_port> --policy.path=nberezny/act_franka_pick_place_dart --task="Pick up the red cube and place it on the blue square." --duration=60

Подробнее

Оценки успешности в карточке нет — приведён только процесс обучения.
Политика обучена для симулятора franka_panda_sim.
Датасет: 100 эпизодов, 15 959 кадров, 20 FPS.
Требования к VRAM/железу не указаны.