act_pick_cube_10
политика для захвата чёрного кубика роботом
2 мин чтенияобновлено
Модель представляет собой политику управления роботом, обученную методом imitation learning (обучение с подражанием по демонстрациям оператора). Она базируется на архитектуре ACT (Action Chunking with Transformers — алгоритм, который предсказывает сразу короткую последовательность действий вместо одного шага) и реализована в библиотеке LeRobot от автора alohateam1423. На вход модель получает данные о состоянии суставов и картинки с двух камер, а на выходе выдаёт вектор управляющих действий для захвата чёрного кубика. Пригодится разработчикам и энтузиастам робототехники, работающим с манипуляторами типа so_follower.
Ключевые особенности
- Компактный размер: модель содержит около 50 млн параметров (0.05B) и распространяется под свободной лицензией Apache 2.0.
- Мультимодальный ввод: принимает вектор состояния из 6 координат (
observation.state) и видеопоток 640×480 с двух камер — верхней (overhead) и на запястье (wrist). - Предсказание фрагментов действий: архитектура ACT генерирует сразу серию команд (
actionразмерности 6), что делает движения манипулятора более плавными. - Обучение на демонстрациях: тренировалась на датасете
alohateam1423/pick-cube_20261008_100512, состоящем из 50 эпизодов (22 500 кадров при 30 FPS).
Что можно сделать
- Запустить готовую политику на совместимом роботе-манипуляторе
so_followerс двумя камерами для автоматического захвата чёрного кубика. - Использовать чекпоинт и конфигурацию обучения в LeRobot в качестве референса при тренировке собственных политик захвата объектов.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ overhead: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: 1, width: 640, height: 480, fps: 30}}" \
--policy.path=alohateam1423/act_pick_cube_10 \
--task="Grab the black cube" \
--duration=60
Подробнее
Обучение: 100 000 шагов, batch size 8, оптимизатор AdamW, learning rate 1e-05, seed 1000.Версия фреймворка: LeRobot 0.6.0; в релизе также доступен вариант
act_pick_cube_50.Ограничения: результаты тестирования (evaluation) на реальном роботе в карточке пока не опубликованы.










Комментарии