pi0.5_rebot6
VLA-модель для управления роботом-манипулятором
2 мин чтенияобновлено
Модель pi0.5_rebot6 от автора Deviant65 решает задачу управления роботом на основе визуальных данных и текстовых команд: на вход она получает состояние манипулятора и видеопоток с двух камер, а на выходе генерирует вектор действий для выполнения операции. Это дообученная версия архитектуры π0.5 (Vision-Language-Action модели от Physical Intelligence, созданной для обобщения на незнакомые среды) объёмом 4.14B параметров, построенная на базе lerobot/pi05_base с помощью фреймворка LeRobot. От базовой версии она отличается специализацией под конкретное железо и задачу: модель обучена поднимать синюю коробку и возвращать руку в исходное положение. Разработка пригодится робототехникам и исследователям, работающим с платформой LeRobot и манипуляторами серии rebot_b601_follower.
Ключевые особенности
- Мультимодальный вход: анализирует вектор состояния робота размерностью
(7,)и изображения 640×480 с двух камер (d415иd405). - Готовый пайплайн LeRobot: совместима с версией библиотеки 0.7.1 и запускается стандартной консольной утилитой
lerobot-rollout. - Обучение на реальных эпизодах: дообучена на датасете из 55 эпизодов (54 291 кадр при 30 FPS).
- Архитектура π0.5: наследует возможности базовой модели от Physical Intelligence для работы в меняющихся условиях.
Что можно сделать
- Запустить готовый сценарий захвата синей коробки и возврата в исходную позицию на роботе
rebot_b601_followerс камерами d415 и d405. - Использовать чекпоинт и конфигурацию обучения как отправную точку для дообучения под схожие задачи манипуляции объектами через
lerobot-train. - Протестировать работу политики на собственном стенде в непрерывном режиме без ограничения по времени (пропустив параметр
--duration).
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=rebot_b601_follower \
--robot.port= \
--policy.path=Deviant65/pi0.5_rebot6 \
--task="Pick up the blue box, then return the arm to the home position." \
--duration=60
Подробнее
Размер модели: 4.14B параметров, базовая модель — lerobot/pi05_base.Обучение: 20 000 шагов, batch size 16, оптимизатор AdamW, learning rate 2.5e-05.
Ограничения: результаты оценки (evaluation) на реальном роботе в карточке пока не приведены; требует совпадения имён камер (d415, d405) и разрешения 640×480.
Лицензия: gemma.










Комментарии