act_move-box_chunk100
политика для перемещения коробки роботом
2 min readupdated
Модель представляет собой политику управления роботом, обученную методом imitation learning (обучение с подражанием на примерах телеуправления) по архитектуре Action Chunking with Transformers (ACT). Вместо одиночных шагов она предсказывает сразу короткие последовательности действий для манипулятора so_follower, чтобы выполнять задачу «Move the box» (перемещение коробки). Модель весит около 0.05B параметров, создана пользователем jhd0313 в экосистеме LeRobot (версия 0.6.0) и распространяется под свободной лицензией Apache 2.0. Подойдёт энтузиастам и разработчикам робототехники, работающим с совместимыми манипуляторами и камерами.
Ключевые особенности
- Архитектура ACT: предсказывает последовательности действий (action chunks) с горизонтом 100 шагов (в серии также есть варианты chunk50 и chunk10).
- Мультимодальный ввод: принимает вектор состояния робота (6 параметров) и видеопоток с двух камер (
overheadиwristв разрешении 480×640). - Точное управление: на выходе формирует вектор действий размерностью 6 для управления приводами манипулятора
so_follower. - Обучение на реальных данных: модель тренировалась на датасете
jhd0313/move-box_20261008_100955, содержащем 50 эпизодов (10 668 кадров при 30 FPS).
Что можно сделать
- Запустить автономное перемещение коробки на физическом роботе-манипуляторе
so_followerс двумя подключёнными камерами. - Использовать чекпоинт как базовый ориентир при дообучении или сравнении политик с разным размером чанка (10, 50 и 100) в фреймворке LeRobot.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--policy.path=jhd0313/act_move-box_chunk100 \
--task="Move the box" \
--duration=60
Подробнее
Обучение: 5000 шагов, batch size 8, оптимизатор adamw, learning rate 1e-05.Оценка: метрики успешности на реальном роботе в карточке пока не опубликованы.
Лицензия: apache-2.0.










Comments