ACT для сортировки блоков
имитационное обучение в LeRobot
2 мин чтенияобновлено
Это policy (политика управления) для робота, обученная методом ACT (Action Chunking with Transformers — имитационное обучение, которое предсказывает короткие последовательности действий вместо одиночных шагов). Модель обучена в LeRobot на 75 эпизодах записи с двух камер робота so_follower и решает конкретную задачу: собрать 3 жёлтых, 1 красный и 6 синих блоков и сложить их в чёрную коробку. На вход она получает состояние робота (6 значений) и два изображения 480×640 с камер top и wrist, на выходе — 6-мерный вектор действий. Пригодится тем, кто собирает робота на LeRobot: можно запустить готовую политику или взять её как шаблон для обучения своей.
Ключевые особенности
- Метод ACT из оригинальной статьи: предсказание чанков действий вместо пошаговых команд
- Обучение на 75 эпизодах и 115 024 кадрах при 30 FPS
- Два визуальных входа — камеры top и wrist разрешением 480×640
- 10 000 шагов обучения, batch size 8, learning rate 1e-5, оптимизатор adamw
- Совместима с роботом типа so_follower, лицензия apache-2.0
Что можно сделать
- Запустить готовую политику на своём so_follower через
lerobot-rollout - Обучить собственную политику ACT по шаблону из карточки на своём датасете
- Разобрать полный пайплайн имитационного обучения LeRobot на живом примере
Пример
lerobot-rollout \
--robot.type=so_follower \
--robot.port=<your_robot_port> \
--policy.path=AdrianAo/act_block_sorting_2026-11-12_15-29-20 \
--task="Pick up 3 yellow blocks, 1 red block and 6 blue blocks and place them into the black box" \
--duration=60
Подробнее
Размер модели — около 0.05B параметров, обучение заняло 10 000 шагов в LeRobot 0.6.2.Датасет: 75 эпизодов, 115 024 кадра, 30 FPS.
Оценки на реальном роботе в карточке нет — успешность не измерялась.
Для запуска нужен робот so_follower и две камеры с именами, совпадающими с ключами обучения.










Комментарии