act_pickandplace_cube
политика управления роботом для перекладывания кубика
2 мин чтенияобновлено
Модель представляет собой политику имитационного обучения для робототехники, которая управляет манипулятором при захвате и перемещении красного кубика (задача «Red block pickup and place»). В основе лежит архитектура Action Chunking with Transformers (ACT — метод, который предсказывает сразу короткие последовательности действий вместо одиночных шагов, обучаясь на данных телеуправления). Политика обучена пользователем Rlayd36 с помощью библиотеки LeRobot и рассчитана на робота типа so_follower с двумя камерами. Подойдёт разработчикам и энтузиастам робототехники, работающим с платформой LeRobot и манипуляторами SO-100/SO-101 (so_follower) для тестирования или дообучения задач захвата объектов.
Ключевые особенности
- Архитектура ACT: модель объёмом 0.05B параметров предсказывает последовательности из 6-мерных векторов действий (
action). - Мультимодальный ввод: принимает текущее состояние робота (6 параметров
observation.state) и видеопоток 640×480 с двух камер — верхней (overhead) и на запястье (wrist). - Обучена на реальных демонстрациях: тренировка прошла на открытом датасете
Rlayd36/pick-cube_20261113_161307, состоящем из 60 эпизодов (32 476 кадров при 30 FPS). - Открытая лицензия: распространяется под лицензией Apache 2.0 для свободного использования и модификации.
Что можно сделать
- Запустить на совместимом железе: развернуть готовую политику на физическом манипуляторе
so_followerс двумя подключёнными камерами для автоматического перекладывания красного блока. - Использовать как отправную точку: взять конфигурацию обучения и открытый датасет автора в качестве базового пайплайна для тренировки собственных навыков в LeRobot.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ overhead: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
--policy.path=Rlayd36/act_pickandplace_cube \
--task="Red block pickup and place" \
--duration=60
Подробнее
Параметры обучения: 100 000 шагов, batch size 8, оптимизатор AdamW (learning rate 1e-05), seed 1000, версия LeRobot 0.6.0.Ограничения: результаты замеров точности (evaluation) на реальном роботе в карточке пока не представлены.
Требования: для запуска инференса на роботе требуются две камеры с разрешением 640×480 и частотой 30 FPS, имена которых соответствуют ключам
overhead и wrist.









Комментарии