act
политика для робота-манипулятора
2 мин чтения
Модель обучена с использованием метода ACT (Action Chunking with Transformers — метод имитационного обучения, предсказывающий короткие пакеты действий вместо одиночных шагов). Она создана для робота-манипулятора типа so_follower и предназначена для выполнения манипуляций с предметами, такими как поднятие кубиков и размещение их в лотке или установка друг на друга. Политика основана на данных телеуправления и задействует визуальные наблюдения с запястной камеры. Решение пригодится разработчикам и исследователям в области робототехники, использующим экосистему LeRobot.
Ключевые особенности
- Обучена и развернута с использованием современной библиотеки LeRobot.
- Использует визуальные данные с запястной камеры (
observation.images.wrist) с разрешением 640x480. - Предсказывает 6-мерные векторизованные действия (
action) на основе состояния и изображений. - Базируется на датасете с записанными эпизодами захвата и перемещения предметов.
Что можно сделать
- Запустить выполнение политики на реальном роботе-манипуляторе so_follower для автоматической сортировки кубиков.
- Провести развертывание модели для автономного выполнения задач захвата и складирования объектов.
- Дообучить собственную политику на базе фреймворка LeRobot, используя собранные демонстрационные данные.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=stack \
--task="Pick up the cube and place it in the tray" \
--duration=60Подробнее
Бенчмарки: данные об успешности пока не предоставленыОбучение: 100 000 шагов, размер батча 64, оптимизатор adamw, learning rate 1e-05
Датасет: 82 эпизода, 196 610 кадров при 30 FPS










Комментарии