pi05_orca_hand_bottle
управление роботом для перемещения бутылки
2 min readupdated
Модель представляет собой LoRA-адаптацию (небольшую обучаемую надстройку над базовой нейросетью) архитектуры π₀.₅ (pi05) от Physical Intelligence, портированной в библиотеку LeRobot. Это модель класса Vision-Language-Action (VLA), которая принимает видеопоток с камер, текущее состояние суставов и текстовую команду, а на выходе генерирует вектор действий для приводов робота. Данный чекпоинт от автора saybeok03 обучен на базе lerobot/pi05_base специально под задачу «move the bottle.» («перемести бутылку») для робота с 20 степенями свободы. Подойдёт исследователям и разработчикам в области робототехники, работающим с фреймворком LeRobot.
Ключевые особенности
- Работает сразу с тремя камерами (
bottom,wrist,realsense) в разрешении 640×480 при 30 FPS. - Принимает вектор состояния
observation.stateразмерностью(20,)и выдаёт вектор командactionаналогичной размерности(20,). - Обучена методом имитационного обучения на датасете
saybeok03/orca-hand-bottle(165 эпизодов, 141 740 кадров). - Построена на базе
lerobot/pi05_base(адаптация открытого репозитория OpenPI) с использованием LeRobot версии 0.6.1.
Что можно сделать
- Запустить готовую политику управления на совместимом роботе с тремя камерами для выполнения задачи захвата и перемещения бутылки.
- Использовать чекпоинт как отправную точку или референс при обучении собственных VLA-политик на базе
pi05_baseв среде LeRobot.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type= \
--robot.port= \
--policy.path=saybeok03/pi05_orca_hand_bottle_165ep_lora_r256_50k \
--task="move the bottle." \
--duration=60
Подробнее
Обучение: 50 000 шагов, batch size 32, оптимизатор AdamW, learning rate 0.0001, seed 1000.Лицензия: Apache-2.0.
Ограничения: результаты тестирования на реальном роботе (evaluation) в карточке пока не опубликованы.










Comments