pi0 (SO101)

Это дообученная версия general-purpose VLA-модели π₀ (pi0) от Physical Intelligence, адаптированная в LeRobot. Политика управляет роботом so101_follower по двум камерам — front и wrist — и выполняет задачу «Grab orange and place into plate». В метаданных указано 4,03 млрд параметров.

👀 Ключевые особенности

• 👀 Входы: observation.state (6,), изображения front и wrist 480×640; выход — action (6,).
• 💪 Обучена на датасете LightwheelAI/leisaac-pick-orange: 60 эпизодов, 36 293 кадра, 30 FPS.
• 🐱 Робот so101_follower; камеры front и wrist.
• 🔥 15 000 шагов обучения, batch size 32, AdamW, learning rate 0.0001, seed 1000, LeRobot 0.6.2.

👉 Пример

Фрагмент запуска политики на роботе:

lerobot-rollout \
  --strategy.type=base \
  --robot.type=so101_follower \
  --robot.port=<your_robot_port> \
  --robot.cameras='{ front: {type: opencv, index_or_path: <index>, width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: <index>, width: 640, height: 480, fps: 30}}' \
  --policy.path=your_repo_id \
  --task='Grab orange and place into plate' \
  --duration=60

Замените порт, индексы камер и путь к политике; имена камер должны совпадать с ключами наблюдений.

Подробнее

Бенчмарков нет: в карточке указано «No evaluation results».
VRAM и требования к железу не указаны.
Обучение: 15 000 шагов, batch 32, AdamW, LR 0.0001, seed 1000, LeRobot 0.6.2; лицензия gemma.
Данные: 60 эпизодов, 36 293 кадра, 30 FPS; задача — Grab orange and place into plate.