board_insertion_merged_pi05_subtask_rel_chunk30_sirius_grc_dagger_early45f_R2_5k
управление роботом при установке платы
2 мин чтенияобновлено
Политика управления роботом-манипулятором (VLA — модель типа «зрение-язык-действие»), которая предсказывает текущую подзадачу и генерирует последовательность движений для захвата платы и её установки в модуль управления. Модель построена на базе pi0.5 (lerobot/pi05_base, 4.14 млрд параметров) для фреймворка LeRobot и дообучена на датасете chomeed/hyundai_duet_task1. В отличие от базовой версии, этот чекпоинт (шаг 5 000 из 10 000 обновлений оптимизатора) дополнительно обучен с использованием метода SIRIUS и DAgger (подход, учитывающий вмешательства человека во время автономной работы робота) и явно разбивает действие на текстовые подзадачи перед расчётом траектории. Пригодится исследователям и инженерам робототехники, работающим с бимануальными или манипуляционными задачами сборки в экосистеме LeRobot.
Ключевые особенности
- Предсказание подзадач: VLM-компонент на базе PaliGemma сначала генерирует текстовую подзадачу (захват платы правой рукой, поворот головы в центр, вставка платы в модуль), после чего блок генерации действий (action expert) строит траекторию за 10 шагов flow-модели.
- Мультимодальный вход и относительные действия: модель принимает изображения с трёх камер (
d405_left,d405_right,zed_mini) и 18-мерный вектор состояния, выдавая чанк из 30 8-мерных действий в относительных координатах (абсолютным остаётся только закрытие правого гриппера). - Балансировка данных SIRIUS: при обучении батчи формируются в строгой пропорции — 50% демонстраций человека, 40% кадров вмешательства оператора (intervention) и 10% автономных прогонов робота.
- Встроенные статистики нормализации: параметры препроцессинга и постпроцессинга сохранены в файлах
policy_preprocessor_*иpolicy_postprocessor_*прямо в репозитории.
Что можно сделать
- Воспроизвести пайплайн сборки плат: запустить инференс в среде LeRobot 0.6.2 с плагином
lerobot_policy_pi05_subtaskна совместимой установке с тремя камерами и 18-мерным вектором состояния. - Использовать как отправную точку для дообучения: взять чекпоинт за основу для адаптации под похожие задачи точной стыковки деталей с использованием ребалансировки демонстраций и вмешательств SIRIUS.
- Анализировать переходы между этапами: отслеживать декодируемую подзадачу через атрибут
policy.last_subtaskдля отладки поведения робота при смене фаз манипуляции.
Пример
import lerobot_policy_pi05_subtask # pip install git+[https://github.com/HDR-SRL/lerobot_policy_pi05_subtask](https://github.com/HDR-SRL/lerobot_policy_pi05_subtask)
from lerobot_policy_pi05_subtask import PI05SubtaskPolicy
policy = PI05SubtaskPolicy.from_pretrained(
"chomeed/board_insertion_merged_pi05_subtask_rel_chunk30_sirius_grc_dagger_early45f_R2_5k"
)
actions = policy.predict_action_chunk(batch) # policy.last_subtask хранит текущую подзадачу
Подробнее
Обучение: 5 000 из 10 000 шагов оптимизатора AdamW (batch 128 на 1 GPU B200, bf16 autocast, train loss 0.003).Фреймворк: LeRobot 0.6.2 с плагинами
lerobot_policy_pi05_subtask и lerobot_sirius.Ограничения: при инференсе необходимо применять ту же обрезку кадров с камер, что и в датасете (например, для
d405_left используются координаты 265,64,424,223 на эпизодах GRC или 265,9,424,168 на yonsei).









Комментарии