act_open_box
робототехническая политика для открытия крышки коробки
2 мин чтения
Модель представляет собой обученную политику управления для роботов (в частности, для конфигурации so_follower), которая решает задачу открытия крышки коробки. В основе лежит подход ACT (Action Chunking with Transformers — метод имитационного обучения, предсказывающий короткие последовательности действий вместо отдельных шагов) и библиотека LeRobot. Модель создана на основе датасета с демонстрациями телеоперации и выдает управляющие действия на основе состояния робота и изображений с двух камер (на запястье и сверху). Она пригодится исследователям и разработчикам, работающим с реальной робототехникой на базе библиотеки LeRobot.
Ключевые особенности
- Обучена с использованием метода ACT на основе Transformers для предсказания последовательностей действий
- Использует визуальные наблюдения с двух камер: на запястье (wrist) и общего вида сверху (top)
- Совместима с робототехнической конфигурацией so_follower через фреймворк LeRobot
- Обучена на специализированном датасете демонстраций открытия крышки коробки (open_box)
Что можно сделать
- Запустить готовую политику на совместимом роботе для автоматического выполнения задачи открытия коробки
- Использовать конфигурацию и датасет для дообучения собственных робототехнических моделей в экосистеме LeRobot
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=so_follower \
--robot.port= \
--robot.cameras="{ : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}, : {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=Sergio23g/act_open_box \
--task="Open the box lid" \
--duration=60Подробнее
Датасет: Sergio23g/open_box (10 эпизодов, 4116 кадров при 30 FPS)Параметры обучения: 10 000 шагов, размер батча 8, оптимизатор adamw, learning rate 1e-05
Входные данные: состояние (размерность 6) и изображения с двух камер (3, 480, 640)
Выходные данные: управляющие действия (размерность 6)










Комментарии