ACT_libero

ACT (Action Chunking with Transformers) — метод imitation learning, который предсказывает короткие чанки действий вместо отдельных шагов. Это чекпоинт LeRobot для робота Panda, обученный на датасете LIBERO: 1693 эпизода, 273 465 кадров при 10 FPS. Размер модели — около 50M параметров.

🎱 Ключевые особенности

• 🎱 Предсказывает чанки действий, а не пошаговые команды.
• 🤖 Обучен для робота Panda; на входе два изображения и state, на выходе 7-мерное действие.
• 👀 Камеры image и image2, входные кадры 3×256×256.
• 📓 Датасет LIBERO: 1693 эпизода, 273 465 кадров, 10 FPS.
• 🔨 Обучение в LeRobot 0.7.1: 20 000 шагов, batch size 8, AdamW, lr 1e-5.
• 😬 Опубликованных результатов оценки на реальном роботе пока нет.

💻 Пример

lerobot-rollout --strategy.type=base --robot.type=panda --robot.port=<your_robot_port> --policy.path=Jackyiii/ACT_libero --task="put the white mug on the left plate and put the yellow and white mug on the right plate" --duration=60

Подробнее

Оценка на реальном роботе не приведена.
Вход: два изображения 3×256×256 и state (8,); выход: action (7,).
Обучение: 20 000 шагов, batch size 8, AdamW, lr 1e-5, seed 1000, LeRobot 0.7.1.
Для запуска нужны Panda и камеры с именами, совпадающими с observation-ключами.