act_pod_to_container_v2_50k
политика захвата кофейных капсул для робота
2 мин чтенияобновлено
Модель представляет собой политику управления роботом-манипулятором типа so_follower, обученную с помощью библиотеки LeRobot. Она решает конкретную прикладную задачу: захватить кофейную капсулу и переложить её в контейнер. В основе лежит архитектура ACT (Action Chunking with Transformers — метод обучения с подражанием, который предсказывает сразу короткие последовательности действий вместо одиночных шагов). Модель натренирована на 50 демонстрационных эпизодах телеуправления и пригодится энтузиастам и разработчикам в области робототехники для запуска или дообучения на совместимом железе.
Ключевые особенности
- Обучена под конкретный сценарий манипуляции: «Pick up the coffee pod and put it in the container».
- Принимает на вход вектор состояния робота (6 степеней свободы) и видеопоток с двух камер (
topиwrist) в разрешении 640×480. - Построена на архитектуре ACT и имеет компактный размер около 0.05B параметров.
- Обучена на датасете
allez-ale/so101_pod_to_container_v2(50 эпизодов, 34 539 кадров при 30 FPS).
Что можно сделать
- Запустить готовую политику на роботе-манипуляторе
so_followerс двумя подключёнными камерами для автоматического перекладывания капсул. - Использовать веса и конфигурацию как отправную точку для экспериментов с имитационным обучением в среде LeRobot.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ top: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
--policy.path=allez-ale/act_pod_to_container_v2_50k \
--task="Pick up the coffee pod and put it in the container"
Подробнее
Обучение: 50 000 шагов, batch size 8, оптимизатор AdamW, learning rate 1e-05, версия LeRobot 0.6.2.Лицензия: Apache-2.0.
Ограничения: результаты замеров точности на реальном роботе в карточке пока не опубликованы.










Комментарии