pi05_cube2cross_v2_all_trtc_s1
политика для управления роботом UR5e
2 мин чтенияобновлено
Модель представляет собой обученную политику (алгоритм управления действиями робота) для манипулятора ur5e_hand_e, которая берет разноцветные кубики и ставит их на красный крест по текстовой команде. В основе лежит π₀.₅ (lerobot/pi05_base, 4.14B параметров) — VLA-модель (Vision-Language-Action, нейросеть, объединяющая зрение, язык и моторные действия) от Physical Intelligence, адаптированная под фреймворк LeRobot. На вход система получает текущее состояние робота и изображения с двух камер, а на выходе генерирует вектор из 10 координат для следующего действия. Разработка пригодится инженерам-робототехникам и исследователям для экспериментов с визуально-языковым управлением и дообучения собственных сценариев манипуляции.
Ключевые особенности
- Мультимодальный вход: анализирует вектор состояния робота
(10,)и видеопоток 640×480 с двух камер (topиwrist). - Управление по тексту: поддерживает четыре команды для выбора нужного объекта — синего, зеленого, желтого или красного кубика.
- База π₀.₅: построена на архитектуре от Physical Intelligence, созданной для обобщения навыков в новых условиях.
- Интеграция с LeRobot: готова к запуску через стандартную утилиту
lerobot-rolloutверсии 0.6.2.
Что можно сделать
- Запустить готовую политику на реальном манипуляторе
ur5e_hand_eс двумя камерами для сортировки и переноса цветных кубиков по текстовым инструкциям. - Использовать веса и конфигурацию как отправную точку для дообучения на собственном датасете в LeRobot под похожие задачи захвата и перемещения предметов.
Пример
lerobot-rollout \
--strategy.type=base \
--robot.type=ur5e_hand_e \
--robot.port= \
--robot.cameras="{ top: {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}, wrist: {type: opencv, index_or_path: , width: 640, height: 480, fps: 30}}" \
--policy.path=felsager/pi05_cube2cross_v2_all_trtc_s1 \
--task="pick up the blue cube and place it on the red cross."
Подробнее
Обучена на датасетеfelsager/vla_cubes_cross_v2: 1000 эпизодов, 493 474 кадра при 30 FPS.Параметры обучения: 30 000 шагов, batch size 16, оптимизатор AdamW, learning rate 5e-05, seed 1.
Результаты оценки точности на реальном роботе автором пока не опубликованы.










Комментарии