ACT Policy для робототехники
управление манипулятором
2 мин чтения
Эта модель представляет собой обученную политику управления (policy) для робота-манипулятора типа so_follower, созданную с помощью библиотеки LeRobot. Модель решает задачу перемещения красного куба в синюю зону на основе метода ACT (Action Chunking with Transformers — метод обучения с подражанием, предсказывающий короткие последовательности действий вместо отдельных шагов). Она обучена на датасете из 100 эпизодов и принимает на вход состояние робота и изображения с двух камер, выдавая управляющие действия. Полезна исследователям и разработчикам робототехники, использующим экосистему LeRobot.
Ключевые особенности
- Архитектура ACT: Имитационное обучение с предсказанием пачек действий для высокой точности.
- Мультимодальный ввод: Обрабатывает данные состояния и изображения с двух камер (
bbbиaa). - Интеграция с LeRobot: Полностью совместима с инструментами обучения и инференса LeRobot версии 0.7.1.
- Конкретная задача: Обучена специально для сценария перемещения красного объекта в целевую зону.
Что можно сделать
- Запустить инференс: Протестировать политику на реальном роботе
so_followerс помощью команды rollout. - Изучить датасет: Ознакомиться с демонстрационными данными обучения на Hugging Face.
- Дообучить модель: Использовать конфигурацию для тренировки собственного робота на кастомных демонстрациях.
Пример
Запуск политики на вашем роботе:
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}, : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=DaniStr/act_2026-11-22_02-58-56 \
--task="move the red box to the blue zone" \
--duration=60Подробнее
Метод: Action Chunking with Transformers (ACT)Датасет: DaniStr/red_box_merged (100 эпизодов, 38731 кадр при 30 FPS)
Параметры обучения: 100000 шагов, batch size 16, optimizer adamw, learning rate 1e-05
Версия LeRobot: 0.7.1










Комментарии