GR00T-политика для Panda+UR5e

Это политика управления роботом, обученная в LeRobot на базе открытой модели NVIDIA GR00T N1.7. GR00T N1.7 — кросс-эмбодимент foundation model для обобщённого reasoning и навыков роботов: backbone Cosmos-Reason2/Qwen3-VL и flow-matching action transformer, который предсказывает действия по зрению, языку и проприоцепции. Размер модели — 3,14 млрд параметров, робот — Panda+UR5e.

🔎 Ключевые особенности

• 🧭 База — NVIDIA GR00T N1.7; политика обучена и опубликована через LeRobot.
• 📸 Три камеры: agentview, robot0_eye_in_hand и robot0_eye_in_hand_2.
• ⚙ Входы: observation.state формы (9,) и три изображения (3, 224, 224); выход — action формы (7,).
• 🗂 Датасет: 1526 эпизодов, 377 262 кадра при 20 FPS.
• 🎯 Задачи — взять продукт или предмет и положить его в коробку: варенье, хлопья, груша, яйцо, хлеб, чайник и другие.
• 🚀 Запуск на роботе через lerobot-rollout, обучение — через lerobot-train.

💻 Пример

Короткий запуск политики; имена и индексы камер должны совпадать с ключами наблюдений, на которых обучалась модель.

lerobot-rollout \
  --strategy.type=base \
  --robot.type=Panda+UR5e \
  --robot.port=<your_robot_port> \
  --policy.path=mim-chess-vlas/train_800_sparse__mask_a75__ur5e__groot__seed_0__ab_b5 \
  --task="Pick the jam and place it into the box" \
  --duration=60

Подробнее

Обучение: 60 000 шагов, batch size 16, оптимизатор AdamW, learning rate 7e-05, seed 0, LeRobot 0.6.0.
Датасет: 1526 эпизодов и 377 262 кадра при 20 FPS.
Оценки на реальном роботе в карточке нет — success rate не указан.
Лицензия Apache-2.0; размер — 3,14 млрд параметров.