ACT для SO101
политика захвата и переноса блока
2 мин чтенияобновлено
Это готовая политика imitation learning (обучение по демонстрациям) для робота SO101: по картинкам с двух камер и положению суставов она предсказывает следующие действия манипулятора. Обучена методом ACT (Action Chunking with Transformers), который выдаёт короткие последовательности действий, а не по одному шагу. Всё сделано в LeRobot, лицензия Apache-2.0. Модель узкая: задача ровно одна — взять блок и положить его в коробку. Пригодится тем, кто собирает SO101 и хочет проверить готовый пайплайн LeRobot без обучения с нуля.
Ключевые особенности
- На входе — состояние 6 суставов и два изображения 480×640 с камер front и wrist.
- ACT предсказывает короткие чанки действий; выход — 6-мерный вектор действия.
- Обучена на 93 эпизодах, 24 572 кадрах при 30 FPS.
- 20 000 шагов обучения, batch size 32, AdamW, learning rate 1e-5.
- Совместима с LeRobot и роботом so_follower.
Что можно сделать
- Запустить готовую политику на SO101 и проверить, как робот берёт блок и кладёт его в коробку.
- Использовать как пример для собственного обучения ACT в LeRobot: заменить датасет и собрать свою политику.
- Проверить пайплайн камер и калибровку so_follower перед записью новых демонстраций.
- Сравнить с другими ACT-политиками на похожих задачах манипуляции.
Пример
lerobot-train \
--dataset.repo_id=${HF_USER}/<dataset> \
--policy.type=act \
--output_dir=outputs/train/<policy_repo_id> \
--job_name=lerobot_training \
--policy.device=cuda \
--policy.repo_id=${HF_USER}/<policy_repo_id>
Подробнее
Бенчмарков нет: автор не привёл результаты оценки на реальном роботе.Обучение: 20 000 шагов, batch size 32, AdamW, lr 1e-5, seed 1000, LeRobot 0.6.1.
Данные: 93 эпизода, 24 572 кадра, 30 FPS; задача — «Pick up the block and place it in the box».
Ограничение: политика обучена под so_follower с камерами front и wrist; для другого робота или камер потребуется своя настройка.










Комментарии