HueyWoo/act_lekiwi06_lekiwi_pick_and_place_pallet_bbox
политика захвата и укладки коробки для робота LeKiwi
2 мин чтенияобновлено
Компактная политика управления роботом (нейросеть, переводящая данные с датчиков в команды для приводов) на базе архитектуры act_bbox (Action Chunking with Transformers), обученная с помощью фреймворка LeRobot. Модель предназначена для робота типа lekiwi_client и решает конкретную складскую задачу — захват коробки и её размещение на чёрной паллете. На вход политика принимает текущее состояние робота и данные об окружении, а на выходе формирует вектор управляющих действий из 9 параметров. Пригодится разработчикам и энтузиастам робототехники, работающим с платформой LeKiwi и имитационным обучением.
Ключевые особенности
- Компактный размер: модель весит всего около 0,04B параметров, что позволяет запускать её в реальном времени на локальном оборудовании робота.
- Ориентация на две камеры: при обучении использовались потоки с фронтальной камеры (
front) и камеры на манипуляторе (wrist) с разрешением 640×480 и частотой 30 FPS. - Структурированный ввод и вывод: принимает вектор состояния
observation.stateразмерности(9,)и состояние средыobservation.environment_stateразмерности(140,), выдавая вектор действийaction(9,). - Открытая лицензия: распространяется под лицензией Apache 2.0 вместе с исходным датасетом демонстраций.
Что можно сделать
- Запустить на реальном роботе LeKiwi: развернуть политику через стандартную утилиту
lerobot-rolloutдля автоматического перекладывания коробок на паллету. - Дообучить под свои объекты: использовать конфигурацию обучения на базе
act_bboxи датасетHueyWoo/lekiwi_pick_and_place_palletкак основу для похожих задач захвата и сортировки.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=lekiwi_client \
--robot.port= \
--policy.path=HueyWoo/act_lekiwi06_lekiwi_pick_and_place_pallet_bbox \
--task="pick a box and place it on a black pallet" \
--duration=60Подробнее
Обучающий датасет: 40 эпизодов (11 103 кадра при 30 FPS) из репозиторияHueyWoo/lekiwi_pick_and_place_pallet.Параметры обучения: 50 000 шагов, batch size 8, оптимизатор AdamW, learning rate 1e-05, версия LeRobot 0.6.0.
Оценка: результаты замеров успешности выполнения на реальном роботе в карточке пока не опубликованы.










Комментарии