pi05 SciEdu
VLA-политика для лабораторных манипуляций
2 min readupdated
pi05 — Vision-Language-Action-модель от Physical Intelligence, которая связывает изображения с камер и состояние робота с командами действий. Этот чекпоинт — LeRobot-адаптация из OpenPI, дообученная на симуляторе openarm_sciedu_sim: около 4,14 млрд параметров, три камеры и 16-мерное состояние на входе, 16-мерный вектор действий на выходе. В датасете — 2365 эпизодов и 1 438 051 кадр для 30 задач научного практикума: взять чёрный заряжающий стержень, потереть о мех, перемещать пластину, работать с минералами и пипеткой. Это не универсальная политика, а узкий файнтюн под конкретный стенд; пригодится тем, кто работает с LeRobot и imitation learning в симуляции.
Ключевые особенности
- VLA-политика pi05 на базе LeRobot: вход — 16-мерное состояние и три камеры 480×640, выход — 16-мерные действия.
- Камеры: follower_d455f, left_wrist, right_wrist; политика учитывает обзор с камеры робота и двух запястий.
- 2365 эпизодов, 1 438 051 кадр при 30 FPS и 30 задач научного практикума в симуляторе.
- Готовые CLI-команды lerobot-rollout и lerobot-train — можно запускать политику и дообучать свою.
Что можно сделать
- Запустить политику в симуляторе openarm_sciedu_sim на задачах вроде «pick up the black charging rod».
- Дообучить pi05 на своём датасете через lerobot-train, взяв этот чекпоинт как рабочий пример пайплайна.
- Разобрать, как LeRobot описывает наблюдения и действия для VLA с тремя камерами.
- Использовать в исследовании imitation learning для лабораторных манипуляций, если доступен этот симулятор.
Пример
lerobot-rollout --strategy.type=base --robot.type=openarm_sciedu_sim --robot.port=<your_robot_port> --policy.path=leapshared/sciedu_bench_props8_pi05_10k --task="pick up the black charging rod" --duration=60
Подробнее
Обучение: 10 000 шагов, batch size 32, AdamW, lr 2.5e-05, seed 1000, LeRobot 0.7.0.Данные: 2365 эпизодов, 1 438 051 кадр, 30 FPS.
Оценки успешности в карточке нет; лицензия не указана.
Политика заточена под симулятор openarm_sciedu_sim и задачи из датасета.










Comments