pi05 golf-model-3-8fps-servos
VLA-политика для игры в гольф
2 мин чтенияобновлено
Модель — это политика для реального робота: она получает картинки с двух камер и состояние робота, а на выходе выдаёт 19 команд действиям. Это файнтюн VLA-модели π₀.₅ (vision-language-action, то есть модель связывает зрение, язык и действия) от Physical Intelligence; в LeRobot её дообучили на роботе типа oscar для задачи «Play golf». В карточке указаны 172 эпизода и 16 288 кадров при 8 FPS — то есть модель училась на демонстрациях ударов. Пригодится робототехникам и энтузиастам LeRobot, которым нужен готовый пример или отправная точка для своей политики; оценки на реальном роботе пока нет.
Ключевые особенности
- Базируется на
lerobot/pi05_base— VLA-модели π₀.₅ от Physical Intelligence, 4,14 млрд параметров. - На входе: состояние робота (21 значение), камера
wrist(480×640) и камераego(720×1280). - На выходе — 19-мерный вектор действий для робота типа
oscar. - Обучена через LeRobot на 172 эпизодах (16 288 кадров, 8 FPS) для задачи «Play golf».
Что можно сделать
- Запустить политику на роботе
oscarчерезlerobot-rolloutс камерамиwristиegoдля задачи «Play golf». - Дообучить
lerobot/pi05_baseчерезlerobot-trainна своём датасете под другую манипуляцию. - Взять как пример полного цикла LeRobot: запись демонстраций, обучение и rollout.
Пример
lerobot-rollout --strategy.type=base --robot.type=oscar --robot.port=<your_robot_port> --policy.path=puppet-robotics/golf-model-3-8fps-servos --task="Play golf" --duration=60
Фрагмент команды; камеры wrist и ego нужно задать в --robot.cameras.
Подробнее
Оценки на реальном роботе в карточке нет — таблица успешных попыток пустая.Обучение: 50 000 шагов, batch size 32, AdamW, learning rate 2.5e-05, seed 1000, LeRobot 0.6.2.
Данные: 172 эпизода, 16 288 кадров, 8 FPS; задача «Play golf».
Лицензия Apache-2.0; вход — состояние (21) и две камеры, выход — 19 действий.










Комментарии