UR5e pick-and-place

Это открытая роботизированная политика от HIT-Robotics, обученная в LeRobot на базе MolmoAct2 — foundation-модели для робототехники от Ai2. Она принимает изображения с двух камер и текстовую инструкцию, а выдаёт 7-мерные чанки действий для робота UR5e. Задача — захватить цветной кирпич и поместить его в синюю чашку.

✅ Ключевые особенности

• 🦾 Обучена под UR5e: вход `observation.state` размером `(7,)`, выход `action` размером `(7,)`.
• 👁 Использует две камеры — `wrist_cam` и `top_cam`, каждая с разрешением `480×640`.
• ✅ Датасет: 63 эпизода, 42 778 кадров, 30 FPS; три задачи с жёлтым, розовым и зелёным кирпичом.
• 🔥 Обучение: 8000 шагов, batch size 16, оптимизатор AdamW, learning rate `1e-5`, LeRobot 0.6.1.
• 💥 Лицензия Apache-2.0; политика опубликована как готовый чекпоинт для LeRobot.

💥 Пример

lerobot-rollout \
  --strategy.type=base \
  --robot.type=ur5e \
  --robot.port=<your_robot_port> \
  --policy.path=HIT-Robotics/ur5e_pick_and_place \
  --task="Place the yellow brick in the blue cup" \
  --duration=60

Подробнее

Бенчмарков нет: в карточке указано, что результаты оценки пока не предоставлены.
Данные: 63 эпизода, 42 778 кадров, 30 FPS.
Обучение: 8000 шагов, batch size 16, AdamW, lr 1e-5, LeRobot 0.6.1.
Ограничение: политика обучена под UR5e и камеры `wrist_cam`/`top_cam`; для запуска нужны свои порт и индексы камер.