task1task2_subtask_rel
мультизадачная модель управления роборукой
2 мин чтенияобновлено
Эта мультизадачная модель создана на базе архитектуры pi0.5 (версионированная модель для управления роботами от Physical Intelligence / LeRobot) и обучена для выполнения трёх различных задач манипуляции: вставки платы в модуль, захвата кабеля и перемещения модуля в центр стола. Модель использует визуально-языковую основу (VLM) для предсказания промежуточных подзадач перед генерацией управляющих воздействий (экшенов). Она объединяет несколько датасетов и обрабатывает данные с трёх камер и датчиков состояния (24-мерный вектор). Решение предназначено для исследователей и разработчиков робототехники, работающих с фреймворком LeRobot.
Ключевые особенности
- Поддержка трёх разных сценариев роборуки через один пайплайн.
- Предсказание промежуточных подзадач (subtask prediction) для точного планирования действий.
- Обучение на комбинированных демонстрациях (GRC, Yonsei, Hyundai) с батчем 128.
- Использование precision bf16 и градиентного чекпоинтинга для стабильного обучения.
Что можно сделать
- Запустить инференс модели для управления роборукой в задачах сборки и монтажа.
- Протестировать мультизадачный промптинг для переключения между вставкой платы и захватом кабеля.
- Интегрировать модель с плагином LeRobot для кастомизации под свои роботехнические стенды.
Пример
# pip install git+[https://github.com/HDR-SRL/lerobot_policy_pi05_subtask@multitask](https://github.com/HDR-SRL/lerobot_policy_pi05_subtask@multitask)
import lerobot_policy_pi05_subtask
from lerobot.policies.factory import make_pre_post_processors
from lerobot_policy_pi05_subtask import PI05SubtaskPolicy
policy = PI05SubtaskPolicy.from_pretrained("chomeed/task1task2_subtask_rel_chunk30_sirius_bs128_multitask_fromR2mixed_1118_20k")
pre, post = make_pre_post_processors(policy.config, pretrained_path="chomeed/task1task2_subtask_rel_chunk30_sirius_bs128_multitask_fromR2mixed_1118_20k")
batch = pre({"observation.state": state, "observation.images.d405_left": ..., "task": "insert the cable into the control module"})
actions = post(policy.predict_action_chunk(batch))
Подробнее
Train loss: 0.002 на шаге 20,000Архитектура: LeRobot 0.6.2 pi0.5_subtask + lerobot_sirius
Входы: 3 камеры и 24-мерное состояние
Выход: экшены длиной 30 шагов (11-D)










Комментарии