UR5e pick-and-place
политика LeRobot на MolmoAct2
1 min readupdated
Это открытая роботизированная политика от HIT-Robotics, обученная в LeRobot на базе MolmoAct2 — foundation-модели для робототехники от Ai2. Она принимает изображения с двух камер и текстовую инструкцию, а выдаёт 7-мерные чанки действий для робота UR5e. Задача — захватить цветной кирпич и поместить его в синюю чашку.
Ключевые особенности
- Обучена под UR5e: вход `observation.state` размером `(7,)`, выход `action` размером `(7,)`.
- Использует две камеры — `wrist_cam` и `top_cam`, каждая с разрешением `480×640`.
- Датасет: 63 эпизода, 42 778 кадров, 30 FPS; три задачи с жёлтым, розовым и зелёным кирпичом.
- Обучение: 8000 шагов, batch size 16, оптимизатор AdamW, learning rate `1e-5`, LeRobot 0.6.1.
- Лицензия Apache-2.0; политика опубликована как готовый чекпоинт для LeRobot.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=ur5e \
--robot.port=<your_robot_port> \
--policy.path=HIT-Robotics/ur5e_pick_and_place \
--task="Place the yellow brick in the blue cup" \
--duration=60
Подробнее
Бенчмарков нет: в карточке указано, что результаты оценки пока не предоставлены.Данные: 63 эпизода, 42 778 кадров, 30 FPS.
Обучение: 8000 шагов, batch size 16, AdamW, lr 1e-5, LeRobot 0.6.1.
Ограничение: политика обучена под UR5e и камеры `wrist_cam`/`top_cam`; для запуска нужны свои порт и индексы камер.










Comments