act_piper_pickup_mug_merged
политика для захвата кружки роботом
2 мин чтенияобновлено
Это политика управления роботом-манипулятором (вероятно, Piper, судя по названию), обученная с помощью метода ACT (Action Chunking with Transformers — архитектура, которая предсказывает сразу короткие последовательности действий вместо одиночных шагов). Модель разработана автором advanced-control на базе фреймворка LeRobot (версия 0.6.1) и решает задачу поднятия кружки. На вход она получает текущее состояние робота и изображения с трёх камер, а на выходе выдаёт 7-мерный вектор управляющих действий. Пригодится разработчикам и исследователям в области робототехники, работающим с имитационным обучением и аналогичной конфигурацией манипулятора и камер.
Ключевые особенности
- Использует три визуальных потока с разрешением 360×640 пикселей: камеры на руке (
camera_hand), груди (camera_chest) и сверху (camera_top). - Принимает вектор состояния
observation.stateразмерности 7 и формирует 7-мерный вектор действийaction. - Обучена на датасете
advanced-control/piper_pickup_mug_merged, содержащем 309 эпизодов (166 739 кадров при 15 FPS). - Компактный размер — около 0.05 млрд параметров, распространяется под свободной лицензией Apache 2.0.
Что можно сделать
- Запустить готовую политику на совместимом 7-степенном роботе-манипуляторе с тремя камерами для автоматического захвата кружки.
- Использовать чекпоинт и связанный датасет как отправную точку для дообучения под похожие бытовые задачи в среде LeRobot.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type= \
--robot.port= \
--policy.path=advanced-control/act_piper_pickup_mug_merged \
--task="task" \
--duration=60Подробнее
Обучение: 100 000 шагов, batch size 8, оптимизатор AdamW, learning rate 1e-05.Оценка: результаты тестов на реальном роботе в карточке пока не приведены.
Ограничения: при запуске имена камер должны строго совпадать с ключами наблюдения (
camera_hand, camera_chest, camera_top).









Комментарии