pi0.5 + FoveaVLA
вставка кабеля с подзадачами
2 min readupdated
Это VLA-политика (модель, которая по кадрам и состоянию робота выдаёт команды манипулятору) для одной операции — вставки кабеля. Она построена на базе lerobot/pi05_base, содержит 4,15 млрд параметров и дообучена в LeRobot 0.6.2 с надстройкой FoveaVLA. От базы отличается тем, что VLM сначала формулирует текущую подзадачу, а action expert действует с учётом неё; для вставки ещё используются кропы с камер. На входе — шесть камер и 25-D состояние, на выходе — 10-D действие чанками по 30 шагов. Пригодится роботистам, которые работают с LeRobot и хотят разобраться в подзадачах и фовеации для точных манипуляций.
Ключевые особенности
- VLM сначала пишет подзадачу после промпта — например, «grasp the cable with the right hand» или «insert the cable into the control module» — и action expert обусловливается на неё.
- Шесть камер: d405_left, d405_right, zed_mini и три fovea-вида; состояние 25-D, действие 10-D с chunk 30.
- Для вставки работает фовеация: на каждом кадре предсказывается бокс камеры на t + 8, а кроп берётся из предыдущего запроса.
- Действия заданы относительно текущего состояния; абсолютными остаются right_thumb_joint1, right_index_joint2 и right_index_joint3.
Что можно сделать
- Подключить чекпоинт в LeRobot и прогнать политику на манипуляторе для задачи вставки кабеля.
- Сравнить с
lerobot/pi05_baseи оценить, что дают предсказание подзадач и фовеация. - Взять как стартовую точку для дообучения на собственных демонстрациях манипуляции.
Пример
import lerobot_policy_pi05_foveavla
from lerobot.policies.factory import make_pre_post_processors
from lerobot_policy_pi05_foveavla import PI05FoveaVLASubtaskPolicy
policy = PI05FoveaVLASubtaskPolicy.from_pretrained("chomeed/first_cable_insertion_uncased_pi05_foveavla_subtask_fullrgb_boxcrop_rel_chunk30_early45f_10k")
live = {"box_provider": lambda: policy.last_box, "subtask_provider": lambda: policy.last_subtask}
pre, post = make_pre_post_processors(policy.config, "chomeed/first_cable_insertion_uncased_pi05_foveavla_subtask_fullrgb_boxcrop_rel_chunk30_early45f_10k", preprocessor_overrides={"pi05_foveavla_subtask_foveal_crop_processor_step": live})
actions = post(policy.predict_action_chunk(pre(observation)))
Подробнее
Чекпоинт: 10 000 из 30 000 optimizer updates (loop step 20 000); train loss 0,141.Вход: 6 камер и 25-D state; выход: 10-D action, chunk 30. Действия относительные, кроме right_thumb_joint1, right_index_joint2, right_index_joint3.
Обучение: batch 64 effective, AdamW, peak lr 2.5e-05, bf16 autocast, fp32 master weights, gradient checkpointing.
Ограничение: метки подзадач отсутствуют в датасете на Hub — их записывали в локальный training root; статистики лежат в policy_preprocessor_* / policy_postprocessor_*.










Comments